Хочешь в ТОП? Хватит хотеть, пора действовать!

Начать продвижение
Rookee / Блог / Платон Щукин о правилах составления robots.txt
Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Платон Щукин о правилах составления robots.txt

А вы сталкивались с такой ситуацией, когда страницы, закрытые от поисковых роботов, всё же попадали в результаты поиска и становились доступными для пользователей? Если да, то это сообщение Платона Щукина для вас.

Индексирующий робот Яндекса при обходе любого сайта строго соблюдает те правила, которые заданы в robots.txt. Этот файл служит для него своеобразной инструкцией, которую нельзя нарушать. Чтобы все установленные директивы использовались роботом при посещении сайта, необходимо соблюдать ряд условий:

• Файл robots.txt должен располагаться в корневом каталоге сайта, то есть быть доступен по адресу вида site.ru/robots.txt. Он не может располагаться на другом сайте, поддомене или в другой директории сайта.

• Чтобы директивы из robots.txt были учтены роботом, при его обращении к файлу должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое.<.p>

• Размер файла не должен превышать 32Кб, в противном случае робот посчитает такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать её, как полностью разрешающую.

• Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, т.е. размещенные после строки "User-agent: Yandex".

• Если робот встретит конфликтующие директивы, например:

User-agent: Yandex
Allow: /
Disallow: *

то он выберет разрешающее правило, которое позволит страницам участвовать в поиске.

Если перечисленные условия будут выполняться, то вы можете быть уверены, что робот учтет заданные вами правила индексирования, а страницы и директории, запрещённые в robots.txt, не будут им посещаться и не смогут появиться в результатах поиска.

Обратите внимание: после редактирования robots.txt информация в поиске обновляется не сразу, обычно это происходит в течение 1-2 недель.

Отметим также, что с помощью "Анализатора robots.txt" вы можете самостоятельно проверить корректность настроек файла robots.txt.

 

rookee, 27 Февраля 2015
2338
(Голосов: 7, Рейтинг: 5)
Вам подойдут следующие услуги
Добавить комментарий
Нажимая кнопку, вы подтверждаете свое согласие на обработку персональных данных.