Хочешь в ТОП? Хватит хотеть, пора действовать!

Начать продвижение
Rookee / Блог / Платон Щукин о правилах составления robots.txt

А вы сталкивались с такой ситуацией, когда страницы, закрытые от поисковых роботов, всё же попадали в результаты поиска и становились доступными для пользователей? Если да, то это сообщение Платона Щукина для вас.

" >

Платон Щукин о правилах составления robots.txt

А вы сталкивались с такой ситуацией, когда страницы, закрытые от поисковых роботов, всё же попадали в результаты поиска и становились доступными для пользователей? Если да, то это сообщение Платона Щукина для вас.

Индексирующий робот Яндекса при обходе любого сайта строго соблюдает те правила, которые заданы в robots.txt. Этот файл служит для него своеобразной инструкцией, которую нельзя нарушать. Чтобы все установленные директивы использовались роботом при посещении сайта, необходимо соблюдать ряд условий:

• Файл robots.txt должен располагаться в корневом каталоге сайта, то есть быть доступен по адресу вида site.ru/robots.txt. Он не может располагаться на другом сайте, поддомене или в другой директории сайта.

• Чтобы директивы из robots.txt были учтены роботом, при его обращении к файлу должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое.<.p>

• Размер файла не должен превышать 32Кб, в противном случае робот посчитает такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать её, как полностью разрешающую.

• Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, т.е. размещенные после строки "User-agent: Yandex".

• Если робот встретит конфликтующие директивы, например:

User-agent: Yandex
Allow: /
Disallow: *

то он выберет разрешающее правило, которое позволит страницам участвовать в поиске.

Если перечисленные условия будут выполняться, то вы можете быть уверены, что робот учтет заданные вами правила индексирования, а страницы и директории, запрещённые в robots.txt, не будут им посещаться и не смогут появиться в результатах поиска.

Обратите внимание: после редактирования robots.txt информация в поиске обновляется не сразу, обычно это происходит в течение 1-2 недель.

Отметим также, что с помощью "Анализатора robots.txt" вы можете самостоятельно проверить корректность настроек файла robots.txt.

 

rookee, 27 Февраля 2015
670
Подписаться на «Дайджест новостей Rookee»
Нажимая кнопку, вы подтверждаете свое согласие на
обработку персональных данных.