Назад Вперед Начать продвижение

Благодарим компанию ООО «Реактор Стратегии» за продуктивное сотрудничество с Mail.ru Group. Хотелось бы отметить эффективность решений в области интернет-рекламы.

Mail.Ru,
компания Mail.ru Group
Mail.Ru, компания Mail.ru Group

Rookee — это качественный API и отличный сервис поддержки. Оперативно выполняют доработки с учетом наших пожеланий, и клиенты в восторге от результата.

Клевцов Роман,
генеральный директор Optimism.ru
Клевцов Роман, генеральный директор Optimism.ru

Работаем с сервисом с момента выхода функционала продвижения под Google. Rookee позволяют нам индивидуально подходить к продвижению каждого проекта.

Горлач Евгений,
руководитель отдела коммерческих проектов, Promodo
Горлач Евгений, руководитель отдела коммерческих проектов, Promodo

Расчет бюджета по API Rookee – очень удобный для меня вариант работы. Радует возможность настройки региона, а также бесплатный тестовый период.

Буко Денис,
директор, ARTOX media
Буко Денис, директор, ARTOX media

В первую очередь сервис понравился прозрачностью ценообразования, ведь в работе крайне важно видеть, за что платишь и каких результатов достигаешь.

Кузьмина Галина Андреевна,
руководитель отдела маркетинга компании ePuffer в России
Кузьмина Галина Андреевна, руководитель отдела маркетинга компании ePuffer в России

Сервис Rookee действительно помогает решать задачи SEO-продвижения.
Несмотря на высокую конкуренцию в финансовой отрасли, с помощью сервиса Rookee мы достигли отличной видимости в поисковых системах.

Маслов Дмитрий Александрович,
Начальник отдела Интернет-маркетинга ЗАО КБ "Росинтербанк"
Маслов Дмитрий Александрович, Начальник отдела Интернет-маркетинга ЗАО КБ "Росинтербанк"

Rookee - хорошее решение для продвижения своего бизнеса в сети Интернет. С помощью сервиса нам удалось удвоить количество посетителей на сайте, и это явно не предел нашего роста.

Рыбалко Олег Игоревич,
директор ООО "Чек Кар"
Рыбалко Олег Игоревич, директор ООО "Чек Кар"

Спасибо всему коллективу Rookee за то, что создали такой удобный и полезный сервис, который позволяет автоматизировать рекламу в Интернете.

Кощеев Евгений Николаевич,
начальник Интернет-магазина Сима Лэнд
Кощеев Евгений Николаевич, начальник интернет-магазина Сима Лэнд

Продвигаю несколько проектов в Rookee и уважаю сервис за гибкость и точность его настроек, высокий уровень поддержки и обучающие вебинары. Незаменимая вещь для любого SEO-специалиста. Рекомендую!

Зеленцов Андрей Леонидович,
специалист по рекламе, "КингСтайл"
Зеленцов Андрей, специалист по рекламе, "КингСтайл"

Rookee - отличный инструмент для продвижения и анализа. Гибкие настройки, создание своих стратегий, удобная отчетность - все это позволило мне выбрать Rookee среди конкурентов.

Цыра Илья,
студия "PR and SEO"
Зеленцов Андрей, специалист по рекламе, "КингСтайл"

В сервисе прозрачная и гибкая схема расчёта бюджета продвижения, учитывают и сложность запроса, и различные целевые позиции, типы ссылок - обычные, вечные, новостные. Сколько ссылок на данный момент в индексе, какие позиции по запросам и т.д. Короче, ничего от клиента не скрывают. Это радует.

Пахнёв Евгений,
руководитель IT отдела компании ООО "Делокс" deloks.ru
Пахнёв Евгений, руководитель IT отдела, "Делокс"

Подписка на "Прожектор интернет-рекламы"

Архив статей

September 2016
2930311234
567891011
12131415161718
19202122232425
262728293012
3456789

  Исследование white-листов методами тестовых простановок и нейронных сетей 4892

К категории

На сегодняшний день основным методом поисковой оптимизации в рунете является покупка ссылок на биржах. Поисковые системы, не отрицая напрямую значимость покупных ссылок, продолжают активно бороться с линкоторговлей методом полного или частичного игнорирования ссылок, продающихся на биржах доноров.

Целью данного исследования является проверка факторов, прямо или косвенно влияющих на работоспособность донора, методом прямого анализа.

На данный момент у seo в Рунете существует несколько методов т.н. «анализа» донора на работоспособность. Перечислим их:

  1. Визуальная оценка донора;
  2. Фильтрация по контенту;
  3. Фильтрация по url;
  4. Фильтрация по пузомеркам;
  5. Фильтрация по исходящим/входящим ссылкам;
  6. Фильтрация по техническим характеристикам;
  7. Тестовые простановки.

Первый метод, особо любимый начинающими seo-специалистами, не выдерживает никакой критики, что, на наш взгляд, не имеет смысла доказывать.

Что представляет собой фильтрация по контенту? Допустим, в контенте содержится слово «порно». Можно предположить, что ссылка с этой страницы на обычный сайт будет довольно слабо котироваться. Эта же методика позволяет выбрасывать сети сайтов по некоторым шаблонным признакам.

Фильтрация по url - фактически, позволяет не покупать ссылки с доноров, у которых есть, например, стандартные каталоги ссылок.

Фильтрация по пузомеркам - это знает каждый - ТИц, количество исходящих и масса других параметров.

Фильтрация по исходящим - есть мнение, что если сайт ссылается на «плохие» сайты, то это плохой донор.

Фильтрация по техническим характеристикам - пример: если сайт содержит popup’ы, вирусы и т.п. вещи - то это опять же, с большой вероятностью, некачественный донор.

Таким образом, существует две методологии проверки работоспособности донора: те, в которых измеряется сам результат, и те, в которых результат предполагается (пускай и доказывается затем путем экспериментов на репрезентативной выборке). К первому типу относятся только тестовые простановки и в какой-то мере фильтрация по исходящим ссылкам - в некоторых случаях данную проверку можно использовать вместо тестовых простановок, но, к сожалению, довольно редко.

Все остальные методы - могут давать результат, но прямо недоказуемы. В случае их применения мы можем только предполагать, что они дадут результат.

О тестовых простановках поговорим подробнее.

Учитывая, что другие методы фильтрации либо объективно работают и уже реализованы в системе ROOKEE, либо совершенно недоказательны (визуальная проверка), нас интересовал в первую очередь именно этот, прямой метод измерения результата.

Вкратце о самой методологии, без раскрытия точного алгоритма. В качестве акцептора обычно применяется большой многостраничный, довольно старый сайт. На нем на части страниц находятся запросы, которые наличествуют в определенном диапазоне выдачи, при этом имеющие схожие диапазоны количества страниц в поиске. Затем с доноров по специальному алгоритму проставляются ссылки на эти страницы с определенным ранее ключом, и после индексации уровень работоспособности определяется по специальной методике.

В методе есть множество нюансов, касающихся кластеризации, ссылочных апов, подбора запросов и т.п., он очень дорогой (затрачиваются средства на покупку, причем далеко не одной ссылки с донора), но зато довольно хорошо реализуется алгоритмически, и после постановки на промышленные рельсы практически не требует затрат ручного труда, не считая, конечно, труда аналитиков.

Это все теория, перейдем к практике.

Для первоначального исследования нами была взята выборка из 50 000 сайтов. В результате проведенных тестовых простановок были получены следующие данные: часть ссылок со страницами выпала из индекса, порядка 54% из всех оставшихся сайтов успешно прошли тестирование - то есть показали приемлемую работоспособность. Оставшаяся часть или совсем не работает, или затраты на ее анализ не стоят себестоимости по закупке и программному обслуживанию ссылок на ней.

После этого были проведены оценки небольшой выборки из работоспособной части по визуальной методике. Результаты, в принципе, были предсказуемы, но очень хотелось убедиться в том, что ожидали - довольно большой процент «некрасивых» сайтов хорошо, а местами и очень хорошо работает.

Теперь поговорим о сравнительной эффективности: загружено 80 сайтов из тестовой коллекции аналитического отдела сервиса ROOKEE, на которые было накуплено ссылок по 400 запросам (из которых 200 уникальные). На половину из них покупались ссылки со стандартными сценариями, на другую - со стандартными сценариями плюс с включенной закупкой только по полученному тестовыми простановками white-листу.

 

Несколько сайтов, к сожалению, выпали из индекса Яндекса, т.к. тестовая коллекция была не идеальна, что-то попало под АГС, плюс из индекса пропала довольно существенная часть ссылок (об этом ниже), по остальным сайтам получены следующие данные: процент вывода с включенным white-листом на промежуточных срезах отличается от стандартного: по НК - на 12%, по СК - на 17%, по ВК - на 25%. В принципе, этого следовало ожидать, так как для ВК-запросов хорошие ссылки гораздо важнее, чем для НК.

Дополнительно была произведена закупка по 20 СЧ СК запросам с неработающих площадок. Как видно из графика, результат не просто мал а, скрорее, обратен ожидаемому; эффективность равна нулю (ни один из проектов не приблизился даже к топ50):

Кроме всего прочего возникла следующая проблема - примерно 15-20% ссылок ежемесячно пропадает из индекса. В вышеприведенном исследовании за три месяца пропало в районе 45% ссылок, что, мягко выражаясь, не удовлетворяет потребностям настоящего seo-специалиста. Про это - следующая часть.

Итак, как уже было сказано выше, одной из серьёзных проблем, с которой мы столкнулись при проведении исследования, стала проблема выпадения значительного числа тестовых ссылок из индекса, размещённых, казалось бы, на качественных донорах. Проблема была столь серьёзна, что ставила под вопрос саму идею составления нормального white-листа.

В основной своей массе ответственен за вылет ссылок из индекса небезызвестный фильтр «АГС-XX». Учитывая применяемую яндексом технологию «MatrixNET», отделом аналитики было решено попытаться решить проблему выбора доноров привлечением технологии нейронных сетей, зафиксировав для наблюдаемой выборки ограниченное множество характеризующих параметров. Аргументы просты: ввиду высокой сложности идентификации алгоритма ранжирования на основе статистических методов, хорошей альтернативой являются нейронные сети.

В качестве результата мы ожидали получение набора весов значимости характеризующих параметров, после чего было бы возможно получить вероятностную оценку работоспособности технологии на тестовых выборках сайтов.

Сеть была выполнена ациклической трёхслойной в соответствии с моделью Ворда общим числом в 520 узлов; при обучении использовались два классических подхода: метод обратного распространения ошибки и обучение с учителем. В структуру сети входили как пороговые, так и сигмоидные функции. Для обучения и последующего анализа сетью первоначально было отобрано 112 параметров, так или иначе характеризующих качество площадок. В число анализируемых входили и параметры, отражающие стабильность нахождения ссылок в индексе: время до индексации, среднее время выпадения из индекса, интервал между «морганиями», общее время нахождения в индексе, характеристики изменения ссылочной массы, включая её региональную составляющую и т.д.

Как показала практика работы с сетью в процессе её обучения, не все из принятых к рассмотрению параметров оказались значимыми и их удаление из рассмотрения (разумеется, при последующем переобучении сети и повторении цикла кросс-проверок) приводило к незначительным отклонениям в величинах оценки качества ресурсов. В результате, из исходных 112 был оставлен 61 параметр, 27 из которых относились к группе ссылочных характеристик, при этом колебания в величине оценки находились в интервале 7..13%, что является приемлемым для решения подобных задач.

Почти двукратное сокращение числа наблюдаемых параметров позволило обеспечить разумный компромисс: с одной стороны, мы существенно подняли скорость вычислений и анализа, с другой стороны — не проиграли в точности оценок. Для этой группы параметров и было выполнено полноценное обучение сети. Обучение проводилось на исторических данных за 2 месяца наблюдения, накопленных в общей сложности для 8215 площадок.

В результате обучения и последующей обработки пула были получены устойчиво наблюдаемые группы значений параметров, соответствующих высокой вероятности стабильности нахождения ссылок донора в индексе.

Интересно отметить следующую тенденцию: интенсивность влияния установленных групп параметров монотонно возрастает, что в целом обеспечивает более высокое качество фильтрации.

Среди множества вариантов кластеризации решений были отобраны четыре, обеспечивающие максимальное качество фильтрации. График ниже выражает зависимость вероятности выпадения ссылки из индекса Яндекса, как кумулятивную характеристику групп параметров (по мере роста жесткости увеличивается число параметров фильтрации).

Подводя итог проведенным исследованиям, можно сделать следующие выводы:

  • Использовать фильтрацию тестовыми простановками эффективно не только в плане продвижения сайта, но и в экономическом плане;
  • Метод машинного обучения фильтрации по техническим параметрам дает очень хорошее уменьшение «мигания» ссылочной массы.

Над материалом работали:

Сергей Панков, директор по исследованиям и разработке, 

Михаил Кузьмин, директор по развитию

Александр Салтыков, руководитель отдела проектирования,

Илья Куницкий, маркетолог, 

Илья Зябрев, (aka G00DMAN).

0

Комментарии

gorsv8/25/2010 5:31:52 PM
Вы молодцы за то, что не остановились лишь на методике работоспособности ссылок, но и проработали "выпадение". Не все это понимают.
Вот только "7" общеизвестных параметров вы очень странно трактуете.

А можно вопрос? "В качестве акцептора обычно применяется большой многостраничный, довольно старый сайт"surprised Так у вас акцептором был один сайт или множество?

Выводы из методики вызывают сомнения. Понятно, что мне их не разрешить, поскольку она "конфиденциальна", но тем не менее.
mihakuzmin8/25/2010 5:42:26 PM
Для общей проверки в итоге используется один. Когда начинали экспериментировать - пробовали на нескольких. Нет смысла, результаты одинаковые.
gorsv8/25/2010 5:49:51 PM
полагаю, слишком малая выборка акцепторов была
mihakuzmin8/25/2010 6:25:25 PM
Полагать плохо. Надо знать.
Роман8/25/2010 7:55:22 PM
Спасибо.
Сергей8/25/2010 11:59:40 PM
Умеете же вы ребята полную хрень красиво писать. Завидую @)
Лучше сделайте что-нибудь полезное - начните нормально пробивать индексацию страниц перед покупкой и подключите вечные ссылки
mihakuzmin8/26/2010 9:51:52 AM
Есть способ проверять работоспособность лучше? Поделитесь с публикой, поржем smile

Про нормальную индексацию - примеры в саппорт.
Valerya8/26/2010 1:52:23 PM
Сергей, ну с чего-то надо начинать)) вы вот, например, и хрень написать не можете))
Роман8/26/2010 2:15:59 PM
Ну дак и какие же параметры доноров соответствуют их повышенной устойчивости для уменьшения "мигания"? Понятно что нейронка лучше чем ничего, вывод отличный, а параметры какие?

Такие ужатые результаты можно было и не выкладывать тогда, и так любому здравомыслящему человеку понятно что нейросетью можно подобрать более менее адекватный пул параметров и их значений, но без результатов вся эта писанина кроме "думайте что мы крутые" никакого смысла не несет для общественности.
mihakuzmin8/26/2010 3:54:40 PM
Сообщение от Роман:

Ну дак и какие же параметры доноров соответствуют их повышенной устойчивости для уменьшения "мигания"? Понятно что нейронка лучше чем ничего, вывод отличный, а параметры какие?


Ну да, и еще полный алгоритм выложить в паблик, чтобы конкуренты повторили smile
Такие ужатые результаты можно было и не выкладывать тогда, и так любому здравомыслящему человеку понятно что нейросетью можно подобрать более менее адекватный пул параметров и их значений, но без результатов вся эта писанина кроме "думайте что мы крутые" никакого смысла не несет для общественности.

Это только для некоторой, небольшой части общественности.
seofrost8/27/2010 5:17:31 PM
rookee+ ? wink
Магомед8/31/2010 5:16:03 PM
Вопросы:
1)
порядка 54% из всех оставшихся сайтов успешно прошли тестирование - то есть показали приемлемую работоспособность.

Приемлемая работоспособность, это индексация ссылки? Были такие ссылки, которые дали отрицательный результат для акцептора?

2) Касательно тестовой простановки, агрегаторы могут и не покупать ссылки. Ссылки покупают оптимизаторы, а Вы можете заняться анализом этих ссылок.

Определяете группу уникальных анкоров-ссылок на акцептор, смотрите как себя ведет акцептор. Для более точных параметров, оцениваете эффективность доноров на 5-6 акцепторах.

В данном варианте реализации,  вы с экономите на стоимости ссылок, на анкорах. + Возможность проводить повторную проверку для не эффективных доноров.

P.S. Ясно что 61 параметр вы не выложите, но параметров 10 можно было предоставить публике.
mihakuzmin9/2/2010 10:40:36 AM
1. Приемлемая работоспособность никакого отношения к индексации не имеет. Это именно работоспособность. Естественно, она оценивается после индексации ссылки.

2) Касательно тестовой простановки, агрегаторы могут и не покупать ссылки. Ссылки покупают оптимизаторы, а Вы можете заняться анализом этих ссылок.

2. Практически никогда не получается так. Те ссылки, которые устанавливают оптимизаторы, ни разу не годятся для анализа.

Определяете группу уникальных анкоров-ссылок на акцептор, смотрите как себя ведет акцептор. Для более точных параметров, оцениваете эффективность доноров на 5-6 акцепторах.
А как он должен себя вести? Особенно учитывая, что уникальных ссылок фактически не бывает, дельта изменения несоизмерима для разных запросов, и т.д. и т.п.

Определяете группу уникальных анкоров-ссылок на акцептор, смотрите как себя ведет акцептор. Для более точных параметров, оцениваете эффективность доноров на 5-6 акцепторах.

Выше.

Определяете группу уникальных анкоров-ссылок на акцептор, смотрите как себя ведет акцептор. Для более точных параметров, оцениваете эффективность доноров на 5-6 акцепторах.
К примеру, отсутствие цсс о чем то говорит? smile
Магомед9/2/2010 10:05:19 PM
А как он должен себя вести? Особенно учитывая, что уникальных ссылок фактически не бывает, дельта изменения несоизмерима для разных запросов, и т.д. и т.п.


Акцептор должен подняться, если анкор уникальный.

Второй вопрос не понял,



mihakuzmin9/3/2010 10:38:55 AM
Что не понял, это ожидалось. Тут я не буду разжевывать, для этого необходимо рассказывать саму технологию. Кто в теме, поймет, почему все предложение нерабочее абсолютно.
rok99909/3/2010 9:23:14 PM
У кого результаты хорошие тот и начинает думать что он в темеsmile а быть полностью в теме сложновато... спать плохо становиться. "руки" лично мне нравиться во всём! Столько времени экономлю на покупке ссылок, даже и мечтать не мог о таком...забил на другие биржи уже давно и даже как то обленился smile
JIucky6/16/2011 8:28:50 AM
Такой бы вариант еще сделали, было бы здорово!wink
http://rookee.reformal.ru/proj/?ia=141832

Добавление комментария

coolcryembarassedfoot-in-mouthfrowninnocentkisslaughingmoney-mouthsealedsmilesurprisedtongue-outundecidedwinkyell