Многие наши пользователи уже заметили, что начиная с весны 2013 года, Яндекс постепенно изменяет своё отношение к индексации новых страниц и ссылок.
Индексация как процесс представляет собой обновление информации о вашем сайте в базе поисковой системы: во время апдейта поисковые роботы Яндекса просматривают запланированное количество сайтов, анализируют их старые и новые страницы, добавляют в свою базу все найденные изменения. К этим изменениям относится размещение на сайтах новых текстов, ссылок. В зависимости от того, информацию о ссылках или текстах Яндекс обновляет в базе, апдейт называется ссылочным или текстовым.
Очевидно, что с каждым годом количество сайтов в интернете увеличивается. Ежедневно в зоне .ru и .рф регистрируется порядка 4,5 тыс. сайтов. Возрастает и нагрузка на поисковые системы, обрабатывающие всю информацию по изменениям на веб-ресурсах. Для сравнения, в 2009 году полная индексация рунета осуществлялась Яндексом за 52 дня, к лету 2013 года эта цифра выросла до 149 дней. Если учесть, что ссылочные апдейты происходят каждые 6 дней, то за один апдейт Яндекс проверяет в среднем 4% всех ссылок.
Обновив информацию по ссылкам и текстам, 1-2 раза в неделю Яндекс заново оценивает каждую страницу сайта, при этом анализируются и те веб-ресурсы, которые были проверены в момент последнего апдейта, и те, которые не проверялись. Происходит пересчёт формулы ранжирования с учётом изменений на сайтах: появления новых страниц, текстов, ссылок – и рассчитывается новая позиция проверенной странички в поисковой выдаче.
В дальнейшем, когда пользователь вводит в строку поиска свой запрос, Яндекс берёт из собственной базы заранее составленный список сайтов и показывает их пользователю.
Изменение скорости индексации ссылок в Яндексе
Вернёмся к изменениям, происходящим с алгоритмами Яндекса. Наблюдения показывают, что с 14 апреля по 11 мая произошло нарушение графика апдейтов. Если до середины апреля Яндекс обновлял ссылочную базу каждые 5-6 дней, то в этот период обновление базы проводилось раз в 13-14 дней, в связи с чем увеличился срок индексации ссылки.
Рис. 1. Периодичность ссылочных апдейтов
То есть, если раньше поисковый робот «добирался» до новой ссылки в среднем через 5 апдейтов (приблизительно 29 дней), то теперь период, необходимый Яндексу для обнаружения вашей ссылки, существенно увеличился.
Исследования, проведённые нашими аналитиками, показали, что отклонения в алгоритмах впервые были зафиксированы в период начала тестирования Яндексом новой поисковой выдачи Яндекс Острова и введения нового поискового алгоритма Дублин. Вероятно, новые технологии потребовали переноса значительной части мощностей компании с повседневного проведения апдейтов на новые задачи. Также было обнаружено, что среднее время попадания ссылки в индекс поисковой системы теперь составляет порядка 45 дней, а 90% индексации ссылок происходит лишь через 110 дней.
Рис. 2. Доля ссылок, попавших в индекс за определённое количество дней
Алгоритм системы Rookee, отвечающий за сбор информации о статусе индексации ссылки, всегда был настроен оптимальным образом под особенности поисковых систем. В данном случае, вслед за изменением скорости индексации Яндексом, мы снизили частотность проверки ссылок. Погрешность данных, получаемых при этом пользователями системы Rookee, не возросла и по-прежнему не превышает 4%.
Новые правила сбора позиций, введённые Яндексом
Теперь стоит упомянуть второй момент изменения политики Яндекса. С 16 июля Яндекс изменил правила сбора позиций в поисковой выдаче. Ранее поисковая система накладывала менее серьёзные ограничения на проверку позиций сайта через Яндекс.xml. Теперь же вводятся индивидуальные и жёсткие квоты для каждого владельца сайта. предоставления лимитов зависят непосредственно от качества сайтов, подтвержденных в Яндекс.Вебмастер.
В связи с ужесточением допустимых норм нагрузки на сервисы Яндекса сервис Rookee изменил частоту сбора позиций сайтов, адаптировав алгоритмы под новые требования поисковой системы. По новой схеме сбор позиций будет осуществляться следующим образом:
1) Для запросов, расход по продвижению которых более 30 руб. в месяц, ничего не изменится – позиции собираются каждый день.
2) Для запросов с расходом более 0 рублей, но менее 30 руб. сбор позиций будет осуществляться 1 раз в неделю.
3) При нулевом бюджете позиции собираться не будут.
Уменьшение скорости индексации ссылок сказалось и на частоте изменения позиций сайта. Поэтому некоторое снижение частоты проверок в целом никак не повлияет на актуальность данных, получаемых нашими пользователями, касательно позиций сайта по продвигаемым запросам.
Изменения, внесённые под влиянием Яндекса, в основном коснутся тех пользователей, у которых в рекламных кампаниях есть запросы с расходом, равным 0 руб.
Основные причины существования в рекламных кампаниях таких запросов:
1) СЧ и ВЧ запросы в случае, когда продвижение идёт по НЧ-запросам, и отслеживается их влияние на высоко- и среднечастотники.
2) Запросы, на которые в данный момент не выделен бюджет. Из-за сокращения денежных средств на продвижение или из-за сезонности данного запроса и отсутствия приоритета по его продвижению сейчас.
3) Запросы, изначально имеющие желаемые позиции в поисковой выдаче, закупка ссылок по которым на текущий момент не требуется, но будет необходима при снижении позиций.
4) Запросы, продвигаемые в других системах, в случае, если по ним необходим мониторинг позиций.
В ситуации, описанной в варианте 4, или при других причинах, когда имеется необходимость проверять позиции ежедневно, вы можете включить платный сбор позиций, составляющий 1,5 руб. в месяц для каждого запроса или 5 коп. за проверку.
Если ваши запросы с нулевым балансом относятся к 1, 2 или 3 случаю, то в связи с изменением правил вы перестанете получать по ним необходимые данные о позициях. Однако команда системы Rookee заботится о своих клиентах, поэтому специально для вас мы разработали схему, благодаря которой при подключении Вебмастера вы сможете ежемесячно получать данные по позициям запросов с нулевым балансом.
Желаем приятной работы и успешного продвижения.
С уважением,
команда Rookee!
