Як скласти файл robots txt

категорія Поради та секрети

Одним із засобів управління індексацією сайтів пошуковими системами є файл robots.txt. Переважно він використовується для того, щоб заборонити всім або тільки певним роботам завантажувати вміст деяких груп сторінок. Це дозволяє позбутися від "сміття" у видачі пошукових систем і, в деяких випадках, істотно поліпшити ранжування ресурсу. Для успішного застосування важливо правильно скласти файл robots.txt.

Вам знадобиться

- текстовий редактор.

Інструкція

Складіть список роботів, для яких будуть задані особливі правила винятків або використані директиви розширеного стандарту robots.txt, а також нестандартні і специфічні директиви (розширення конкретної пошукової системи). Внесіть в даний список значення полів User-Agent заголовків HTTP-запитів, що посилаються вибраними роботами сервера сайту. Імена роботів також можна дізнатися в довідкових розділах сайтів пошукових систем.

Виділіть групи URL ресурсів сайту, до яких повинен бути заборонений доступ кожному з роботів списку, складеного на першому кроці. Проведіть таку ж операцію по відношенню до всіх інших роботам (невизначеному безлічі індексуючих ботів). Іншими словами, в результаті повинні вийти кілька списків, які містять посилання на розділи сайту, групи сторінок або джерела медіа-контенту, які заборонені до індексації. Кожен список повинен відповідати окремому роботу. Також повинен бути список заборонених URL для всіх інших ботов.Составляйте списки на основі зіставлення логічної структури сайту з фізичним розміщенням даних на сервері, а також шляхом угруповання URL сторінок по їх функціональною ознакою. Наприклад, можна включити в забороняють списки вміст будь-яких службових каталогів (угруповання за місцем проживання) або всі сторінки профілів (угруповання за призначенням).

Відео: Як створити robots.txt

Виділіть ознаки URL кожного з ресурсів, що містяться в списках, складених на другому кроці. При обробці списків виключень, призначених для роботів, які використовують тільки стандартні директиви robots.txt і невизначених роботів, виділіть унікальні частини URL максимальної довжини. Для інших множин адрес можна створити шаблони відповідно до специфікацій конкретних пошукових машин.

Відео: Уроки WordPress - правильний файл robots.txt WordPress для Яндекса і Google

Cоставьте файл robots.txt. Внесіть в нього групи директив, кожна з яких відповідає набору заборонних правил для конкретного робота, список яких був складений на першому кроці. Останньою повинна слідувати група директив для всіх інших роботів. Розділіть групи правил одним порожнім строкой.Каждий набір правил повинен починатися з директиви User-agent, що ідентифікує робота, після чого повинні слідувати директиви Disallow, що забороняють індексацію груп URL. Значеннями директив Disallow робіть рядки, отримані на третьому кроці. Директиви і їх значення розділяйте двоеточіем.Рассмотріте наступний приклад: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Даний набір директив наказує основному роботу пошукової системи Яндекс не індексувати URL, в яких міститься підрядок / temp / data / images /. Він також забороняє індексацію URL, в яких міститься / temp / data / всім іншим роботам.

Доповніть robots.txt директивами розширеного стандарту або специфічними директивами конкретних пошукових систем. Як приклади подібних директив можуть виступати: Host, Sitemap, Request-rate, Visit-time, Crawl-delay.

Зверніть увагу

Пошуковий робот компанії Rambler розуміє тільки базовий стандарт robots.txt.

Використання robots.txt є декларативною мірою. Воно не захистить ваш сайт від автоматичних парсеров контенту.

Корисна порада

Використовуйте нестандартні розширення формату robots.txt для більш гнучкого управління роботами Yandex і Google.

Увага, тільки СЬОГОДНІ!

Все цікаве

Як зайти на закритий сайт

Відео: Як легко зайти на заблоковані (заборонені) сайтиНестримне бажання перевірити пошту або повідомлення на будь-якому сайті з серії соціальних мереж штовхає багатьох на обхід заборон і блоків в робочих комп`ютерах і локальних мережах. Буває, що…

Як створити сайт на wordpress

Минув той час, коли володіння сайтом вважалося розкішшю. Якщо хтось хотів створити свій веб-сайт, він, швидше за все, наймав професіоналів і витрачав тисячі доларів. Сьогодні будь-хто може створити власний веб-сайт, придбати місце для його…

Як визначити ip відвідувача

Іноді потрібно дізнатися хто, коли, з якого ip-адреси відвідував ваш інтернет-ресурс. Таку детальну інформацію можна отримати, встановивши на сторінку вашого сайту найпростіші скрипти. Вам знадобиться- ПК зі встановленою операційною системою…

Як створити сайт?

{Adsense}Кожен день користувачів всесвітньої мережі інтернет стає все більше і більше. І якщо ще недавно створювати сайти могли лише присвячені, то тепер це задоволення стає доступним кожному. Солідні компанії створюють сайти для ознайомлення…

Як дізнатися движок сайту

Відео: Як визначити движок сайту?Поняття CMS (Content Management System - Система управління контентом) міцно увійшло в сучасну інтернет-середовище. Якщо раніше сайти складалися з простих сторінок, зроблених за допомогою HTML, то зараз переважна їх…

Як створити сайт на wordpress

Відео: Створення сайту на WordPress: покрокова відеоінструкціяWordpress - це безкоштовна платформа, створена для ведення сайтів. Основна перевага системи полягає в тому, що керувати нею досить просто. Також до неї можна підключити додаткові модулі,…

Як закрити зовнішні посилання в wordpress

Відео: WordPress SEO # 5. Закриваємо зовнішні посиланняВ сьогоднішній статті ми поговоримо про те, як закрити зовнішні посилання на інші інтернет сайти від індексування пошуковими системами. Як приклад можна взяти будь-який сайт, на якому зазвичай…

Як назвати свій ресурс

Відео: Як назвати свій сайт (кілька ефективних способів)При відкритті нового інтернет-ресурсу однією з найскладніших проблем стає вибір підходящого назви. Цей процес ускладнюється ще й тим, що більшість односкладових назв доменних імен вже зайняті…

Як заробити на сателітах

Відео: Робимо сателіти розумноСателітом називають сайт, який виконує функцію супутника для основного розкручуваного сайту. Сателіт передає на основний ресурс контрольний вагу і тематичних відвідувачів. Незважаючи на те, що йому відводиться лише…

Забавні конкурси для дитини

Напередодні Дня народження, 8 Березня, Нового року, 23 лютого перед педагогами і батьками постає питання про те, як зробити дитяче свято незабутнім. Смачні страви і весела музика - це, звичайно, добре, але як розвеселити малюків? Включіть в святкову…

Оптимізація зображень для сайту: alt і title

Багато сайтів, як оформлення, використовують графічні елементи, що роблять дизайн привабливим. Застосовувати зображення в оформленні веб-сторінок необхідно обдумано і акуратно.Зображення - елемент сайту, піддається оптимізації. У нього є ім`я файлу…

Увага, тільки СЬОГОДНІ!

biketet.ru » Поради та секрети » Як скласти файл robots txt