Как сэкономить время при продвижении сайта?

Что такое robots.txt?

Robots.txt — это инструкция для поисковых роботов, обычно хранящаяся в корневой папке сайта. С её помощью можно контролировать поведение роботов — например, запретить им индексировать определённое содержимое сайта.

При посещении сайта поисковик запрашивает robots.txt в первую очередь.

Рассмотрим на примере.

Имеется файл robots.txt, в котором записано:

User-agent: *
Disallow: /tmp/
Disallow: /cgi-bin/

  • Знак «*» после User-agent сообщает об общем доступе к содержимому robots.txt — им может воспользоваться любой поисковой робот. Вместо этого знака также можно вписать название конкретного робота.
  • Disallow запрещает роботу индексировать один из разделов. Так, если в robots.txt прописано «Disallow: /» - значит, роботу запрещено индексировать весь сайт.

Запретить индексацию можно и при помощи атрибута nofollow и тега noindex, но поисковые системы негативно относятся к этим запретам.

Rookee — простой способ поднять сайт в ТОП поисковых систем

FAQ Rookee

Показать еще