Хочешь в ТОП? Хватит хотеть, пора действовать!

Начать продвижение
Rookee / Блог / Яндекс будет игнорировать пустую директиву Allow
Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Яндекс будет игнорировать пустую директиву Allow

Яндекс изменил обработку директивы Allow. Теперь поисковые роботы не учитывают пустую директиву Allow как запрещающий сигнал в robots.txt, а будут ее игнорировать. Давайте обсудим, как теперь с этим жить.

«Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow.

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета
», - объясняет Яндекс.

Теперь если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

На наш взгляд, такая ошибка встречается нечасто. Возможно, у Яндекса другие данные, раз было принято решение изменить подход. Отметим, что незаполненная директива Allow – это именно ошибка, которая допускается по незнанию или невнимательности. Таким образом, нововведение Яндекса - еще один шаг в сторону вебмастеров, который упростит работу по настройке и продвижению сайта.

Возможно, через какое-то время Яндекс доберется и до директивы Disallow :)

rookee, 14 Июня 2016
1940
(Голосов: 7, Рейтинг: 5)
Вам подойдут следующие услуги
Видео по теме
Добавить комментарий
Нажимая кнопку, вы подтверждаете свое согласие на обработку персональных данных.
Подписаться на «Дайджест новостей Rookee»
Нажимая кнопку, вы подтверждаете свое согласие на
обработку персональных данных.