Рейтинг популярных записей: что там в API?

А я не поленился, написал свой фид-итер на голом PHP+cURL+DOM+XPath+MySQL. Всего пара часов мучений и вот уже данные собираются как по часам.

Да собрать же не проблема, а дальше-то что? Систематизация на имеющихся данных невозможна – если только вытягивать весь контент по ссылке. А это нагрузка для Яндекса :)

Это нагрузка не для яндекса, а для блогохостингов. Ну, например, Livejournal.com в своих законах робототехники указывает, что:
- бот не может быть многопоточным;
- бот не может совершать более 5 соединений в секунду;
- у бота должен быть подписанный юзерагент.

У меня за прошедшие сутки сейчас в БД около 1100 сообщений с livejournal.com, где links24weight > 0, если обрабатывать по 5 штук в секунду (на идеальном сервере в вакууме), то выйдет примерно 4 минуты. Что, в принципе, не особо напряжно при обновлении рейтинга, скажем, раз в полчаса.

А какие данные ты с блогов забираешь?

Пока что никакие: не дошел до этого. Буду курить формат их rss и думать, что б из этого сделать.

Думаю, если тебе нужны тематические записи, то проще всего составить список ключевых слов, которые надо искать в заголовке, тексте и метках. Плюс, для поиска тематических записей в блогах можно вопользоваться API блогопоиска того же яндекса.

Либо как другой вариант – составить не список технических терминов, а именно список блогов, посвященных тематике IT.

Посмотри заголовки – там чушь, нету там ключевых слов. Отметаем такой алгоритм.

Посмотри блоги: даже айтишники вчера написали про этого мента и именно с этим они в топе. То есть тоже не наш вариант.

Думаем дальше =) Может теги вытаскивать и по ним ориентироваться?

Может, и по тегам, но кому-то может быть лень их прописывать, например. Думаю, список слов IT-тематики составить несложно: они все довольно специфичные, и немаленькая часть IT-поcтов будет содержать названия брендов. Еще можно вытаскивать ссылки из поста и комментов и по ним определять степень айтишности поста.

А вообще, прикольно получается: закрытием своего топа и раздачей API яндекс сделал подлянку блогохостингам :) — теперь их будут атаковать еще большие орды ботов.

Надо написать “Открытое письмо Яндексу”, как сейчас модно. Пусть в фид добавят теги и текст поста, они ведь могут.

О! Кстати! А ведь можно эти данные не с блогохостингов тянуть, а из кеша Яши.

А также уберут постраничку, сделают передачу сжатых данных, реализуют сортировку по набору параметров на их стороне… не думаю, что кто-то будет напрягаться.

Да чем ждать от моря погоды, проще самому все сделать. А то получается “Давайте попросим Яндекс, чтобы он сам за нас все разработал, а мы бы просто XSL- и CSS-шаблоны прикрутили”.

У меня вопрос к публике насчет многостраничности. Я ничуть не пытаюсь как-то защитить яндекс, а просто представляю, как бы я сделал такое сам. Как контролировать нагрузку? Я не знаю заранее, сколько всего записей вернет API: в одно время это 3000, в другое 7000, может быть, бывают и другие значения, я не следил. Предполагается, что это высоконагруженный API с низким latency: пусть даже он и отдают статику, но, повторюсь, контролировать нагрузку как-то надо, чтобы гарантировать стабильный уровень обслуживания для всех клиентов. Обыкновенные RSS тоже не отдают все записи сразу, будь они хоть трижды загзиплены.

Это мои соображения. Может быть, на самом деле я перегибаю палку, и для гигатна-яндекса это капля в море. Но в любом случае, лично мне не очень сложно было написать скрипт, “съедающий” все страницы последовательно.

…а можно, кстати, и параллельно! Этакий хак ;-)

Смотри, что я нашёл:

АДЫН: Семантическое зеркало – есть интерфейс, тока за деньги.

ДЫВА: Istio – нет интерфейса, работает хуже.

Оба работают по одному принципу – текст страницы обезвоживается и сравнивается со словарём, в котором слова разделены на тематики.

Где бы спионерить такой словарик…

nblxa, я бы не заморачивался с защитой Яндекса. У меня twittertrends.ru сосёт твиттер в 400 потоков без каких-либо напрягов последнего (ip, правда, занесены в твиттеровский whitelist). Подобных сервисов, работающих с API твиттера – масса, и ничего, жив пока курилка. А у Яндекса, думаю, мощностей поболе будет, или по крайней мере сравнимо с твиттером.

Тем более что у блог-апи сейчас где-то 70 страниц в среднем отдается и их вполне можно сосать в однопотоке, там инфа медленно обновляется.

// Посмотри блоги: даже айтишники вчера написали про этого мента и именно с этим они в топе. То есть тоже не наш вариант.
Так ты сейчас сделал фильтр по юзерам или все-таки по тайтлам ? Как ты сейчас айтишников определяешь ?

Собирать контент с тэгами не проблема – у меня однопотока вполне хватает обходить топ 1000 , правда пока только ЖЖ, с другими пока не заморачивался.
Так что фильтрация по словам в посте – имхо, лучшее решение. Правда, я пока не представляю как и где получить все русские слова IT-тематики.. Хабр отпарсить, что ли :)

Сейчас по юзерам – видно, что получается чёпопало. Как ты забираешь контент – из RSS-ленты ЖЖ-юзера сравнивая URI\заголовок?

Слова могут классифицировать два сервиса из предыдущего моего комментария, но бесплатно не хотят :<

Да, контент забираю именно так. Вот тут оно сейчас висит, если интересно, периодически может падать, так как я там наживую копаюсь: currentnews.ru

Ашмановский можно было бы отыметь через прокси, но я сейчас попробовал туда попихать разные ЖЖ – как-то не впечатлили меня результаты. Имхо, лучше составлять свои ограниченные категории (политика, IT, кино-тв и т.д.) из набора слов, но учитывая русскую морфологию – это лютый пипец.

Проблема морфологии относительно легко решается стеммерами с готовыми словарями: кто ищет, тот всегда найдет.

Ашмановский сервис и тот другой мне как-то не особо понравились: уж очень общая у них направленность, отсюда и неадекватные ответы. Плюс, они грешат тем, что не отделают содержательную часть от навигационной и оформления. Юзернеймы, слова типа reply, post, comments, lj искажают результат. Плюс, количество неадеквата в комментах может сильно превышать собственно количество полезной информации в самом посте, и здесь тоже желательно уметь отделять мух от котлет.

Отправил письма в Ашмановскую контору и в Истио. Посмотрим чего будет, ибо самому составлять весовой словарь – проще сразу об стенку.

Семантическое зеркало стоит от 6000 рублей в месяц (не более 10 000 запросов в день).

Владелец Istio говорит, что у него нет времени и всё в таком духе. И база у него не своя…

Ищите ещё автоклассификаторы, господа.