Весть о скором закрытии Рейтинга популярных записей в сервисе Яндекс.Поиск по блогам вызвала у многих интерес к API, который Яндекс обещал сохранить. Уже появилось несколько новых рейтингов на основе данных этого API.

Вот и я хочу поделиться некоторыми наблюдениями в этой области.

Итак, собственно, как воспользоваться данными API рейтинга? Простейший вариант — использовать класс SimplePie. Но у нашего фида есть особенности:

1. Он за каким-то чёртом поделен на страницы, и это не лечится.
2. Часть данных передаётся в расширенном формате, непонятном стандартными RSS-классам.

Первую «особенность» можно обойти, последовательно запрашивая все страницы фида, а для обхода второй для класса придётся писать расширение.

Итак, собираем скрипт. Подключаем SimplePie и поочерёдно запрашиваем страниц 20 фида. Пока это просто эксперимент, кеширование можно оставить на файловом уровне класса, но в действующем сервисе уже, конечно, понадобится база данных. На выходе получаем много-много ссылок на записи в блогах. Если присмотреться к ним, то можно сделать некоторые выводы:

— Попасть в этот «топ» довольно просто — две-три ссылки со своих же блогов на других платформах обеспечивают пусть и не высокую, но всё же позицию. Лишь бы блоги были не новые.

— Большое число ссылок на сам блог или сообщество очень помогает. Например, почти все посты сообщества ru_mac попадают в топ за счёт этого.

— Намного больше шансов попасть в рейтинг у блогов на платформе LiveJournal.com. Отдельностоящих блогов там почти нет.

А теперь к досадному моменту: в фиде напрочь отсутствует какая-либо категоризация. Даже банальные теги из ЖЖ в фид не транслируются, что делает весьма затруднительным создание каких-либо тематических рейтингов на основе этого API. Я попробовал набросать некий алгоритм, выдающий записи на околокомпьютерную тематику, но эта идея потерпела фиаско — ни ручной отбор блогов, ни поиск ключевых слов в заголовках не дают нужного эффекта.

Поэтому я обращаюсь к читателям с просьбой предложить идею алгоритма, который выявил бы из рейтинга все записи наших коллег — IT-блогеров.

Несколько лет назад в составе Поиска по блогам Яндекса в качестве эксперимента появился рейтинг популярных записей — небольшой сервис, позволявший найти самые обсуждаемые записи блогеров. В итоге этот сервис стал настоящим медиа-инструментом SMO-специалистов, маркетологов, политиков и прочих заинтересованных лиц. Ещё бы — ведь Яндекс обладает огромным трафиком в рунете. Сегодня Яндекс официально сдался и сообщил о скором отключении этого сервиса:

... Таким инструментом стали пользоваться все, кому не лень – от распространителей ссылок «помогите собрать деньги» до радикалов всех мастей. В результате радикалы одних мастей стали обвинять Яндекс в пособничестве радикалам других мастей, и наоборот. Привычку просматривать страницу рейтинга приобрели журналисты, выведение в топ стало платной услугой, и вот уже власть предержащие смотрят на рейтинг записей как на «глас народа».

... Поэтому мы приняли решение прекратить поддержку сервиса и одновременно предоставить всем желающим техническую возможность сделать свои рейтинги популярных записей — свою версию ответа на вопрос «что сейчас волнует популярных блоггеров».


Таким образом, вместо привычной ТОП-ленты Яндекс предлагает нам RSS-канал с тем же самым содержимым, да ещё и с дополнительными данными, но уже без подпитки трафиком с самого Яндекса. В дополнительных полях RSS-ленты к каждому посту добавлены следующие данные:

• количество ссылок на запись,
• общее количество ссылок на запись за всё время её существования,
• взвешенное количество ссылок на запись (с отфильтрованными накрутками и спамными ссылками),
• количество комментариев к записи,
• общее количество комментариев к записи за всё время её существования,
• количество разных русскоязычных комментаторов у записи,
• количество разных русскоязычных комментаторов у записи за всё время её существования,
• примерное количество посетителей записи.

Используя эти данные не так уж и сложно собрать собственный рейтинг блогосферы и использовать на своё усмотрение. Яндекс по сути сохранил механизм рейтинга, но избавился от ответственности за его содержимое: теперь это бремя ляжет на плечи владельцев тех площадок, которые будут формировать свой рейтинг на основе этого API.

На данный момент Рейтинг популярных записей всё ещё работает и закроется он только в декабре. Думаю, что после его закрытия люди, активно им пользовавшиеся, обратят внимание на аналогичный рейтинг от LiveJournal, предусмотрительно им (и, опять же, недавно) разработанный.