Весть о скором закрытии Рейтинга популярных записей в сервисе Яндекс.Поиск по блогам вызвала у многих интерес к API, который Яндекс обещал сохранить. Уже появилось несколько новых рейтингов на основе данных этого API.

Вот и я хочу поделиться некоторыми наблюдениями в этой области.

Итак, собственно, как воспользоваться данными API рейтинга? Простейший вариант — использовать класс SimplePie. Но у нашего фида есть особенности:

1. Он за каким-то чёртом поделен на страницы, и это не лечится.
2. Часть данных передаётся в расширенном формате, непонятном стандартными RSS-классам.

Первую «особенность» можно обойти, последовательно запрашивая все страницы фида, а для обхода второй для класса придётся писать расширение.

Итак, собираем скрипт. Подключаем SimplePie и поочерёдно запрашиваем страниц 20 фида. Пока это просто эксперимент, кеширование можно оставить на файловом уровне класса, но в действующем сервисе уже, конечно, понадобится база данных. На выходе получаем много-много ссылок на записи в блогах. Если присмотреться к ним, то можно сделать некоторые выводы:

— Попасть в этот «топ» довольно просто — две-три ссылки со своих же блогов на других платформах обеспечивают пусть и не высокую, но всё же позицию. Лишь бы блоги были не новые.

— Большое число ссылок на сам блог или сообщество очень помогает. Например, почти все посты сообщества ru_mac попадают в топ за счёт этого.

— Намного больше шансов попасть в рейтинг у блогов на платформе LiveJournal.com. Отдельностоящих блогов там почти нет.

А теперь к досадному моменту: в фиде напрочь отсутствует какая-либо категоризация. Даже банальные теги из ЖЖ в фид не транслируются, что делает весьма затруднительным создание каких-либо тематических рейтингов на основе этого API. Я попробовал набросать некий алгоритм, выдающий записи на околокомпьютерную тематику, но эта идея потерпела фиаско — ни ручной отбор блогов, ни поиск ключевых слов в заголовках не дают нужного эффекта.

Поэтому я обращаюсь к читателям с просьбой предложить идею алгоритма, который выявил бы из рейтинга все записи наших коллег — IT-блогеров.

Несколько лет назад в составе Поиска по блогам Яндекса в качестве эксперимента появился рейтинг популярных записей — небольшой сервис, позволявший найти самые обсуждаемые записи блогеров. В итоге этот сервис стал настоящим медиа-инструментом SMO-специалистов, маркетологов, политиков и прочих заинтересованных лиц. Ещё бы — ведь Яндекс обладает огромным трафиком в рунете. Сегодня Яндекс официально сдался и сообщил о скором отключении этого сервиса:

... Таким инструментом стали пользоваться все, кому не лень – от распространителей ссылок «помогите собрать деньги» до радикалов всех мастей. В результате радикалы одних мастей стали обвинять Яндекс в пособничестве радикалам других мастей, и наоборот. Привычку просматривать страницу рейтинга приобрели журналисты, выведение в топ стало платной услугой, и вот уже власть предержащие смотрят на рейтинг записей как на «глас народа».

... Поэтому мы приняли решение прекратить поддержку сервиса и одновременно предоставить всем желающим техническую возможность сделать свои рейтинги популярных записей — свою версию ответа на вопрос «что сейчас волнует популярных блоггеров».


Таким образом, вместо привычной ТОП-ленты Яндекс предлагает нам RSS-канал с тем же самым содержимым, да ещё и с дополнительными данными, но уже без подпитки трафиком с самого Яндекса. В дополнительных полях RSS-ленты к каждому посту добавлены следующие данные:

• количество ссылок на запись,
• общее количество ссылок на запись за всё время её существования,
• взвешенное количество ссылок на запись (с отфильтрованными накрутками и спамными ссылками),
• количество комментариев к записи,
• общее количество комментариев к записи за всё время её существования,
• количество разных русскоязычных комментаторов у записи,
• количество разных русскоязычных комментаторов у записи за всё время её существования,
• примерное количество посетителей записи.

Используя эти данные не так уж и сложно собрать собственный рейтинг блогосферы и использовать на своё усмотрение. Яндекс по сути сохранил механизм рейтинга, но избавился от ответственности за его содержимое: теперь это бремя ляжет на плечи владельцев тех площадок, которые будут формировать свой рейтинг на основе этого API.

На данный момент Рейтинг популярных записей всё ещё работает и закроется он только в декабре. Думаю, что после его закрытия люди, активно им пользовавшиеся, обратят внимание на аналогичный рейтинг от LiveJournal, предусмотрительно им (и, опять же, недавно) разработанный.

Сопоставьте несколько интересных фактов, которые, по-моему, говорят о провале формата OpenID:

Google отказался использовать OpenID в сервисе Google Apps в пользу схожей с ним собственной системы межсайтовой авторизации — Google Open ID Federated Login API. Фактически, они сделали собственную систему авторизации, что может запросто привести к появлению таких же решений, например, от Microsoft и Yahoo и к окончательному отказу от открытых стандартов вроде OpenID.

Google возрождает старый протокол finger, который позволял получить данные о человеке, зная его e-mail (а не URI, как в OpenID). Новый протокол (WebFinger), естественно, ориентирован на интернет. Среди разработчиков заметен Brad Fitzpatrick — создатель LiveJournal.com и OpenID.

И, кстати, этот самый Brad Fitzpatrick пишет, что проект OpenID по большей части провалился из-за косяков при разработке интерфейсов для работы с ним:

«People have been trying to use URLs as identifiers for people (as OpenID does), as it has great readability/discoverability properties, but this effort has largely failed because of UI/UX design failings, user confusion about URLs, etc.»

И он в сущности прав: сегодня на хабре, например, обсуждают более-менее адекватный интерфейс для авторизации через OpenID, но уже явно поздно. OpenID погубила сложность как при подключении к сайтам (на редкость кривые библиотеки и классы), так и непосредственно при аутентификации пользователя (действительно жуткие интерфейсы, понимание которых начинает приходить к разработчикам только сейчас).

15 августа были изменены правила, касающиеся финансовой стороны регистрации и продления доменов в зоне RU. Теперь регламент RU-14 не содержит минимальных цен на регистрацию, а только «рекомендованные цены».

...
2.Рекомендованная цена услуги по регистрации каждого доменного имени второго уровня в домене RU для Администратора домена (Пользователя) составляет 500 рублей.
3. Рекомендованная цена услуги по продлению срока действия регистрации каждого доменного имени второго уровня в домене RU для Администратора домена (Пользователя) составляет 350 рублей.
...

Совет Координационного центра домена RU, принявший это решение, скорее подстроился под рынок доменов, который это решения принял уже давно: те, для кого цена доменов была важна, уже давно покупали их намного ниже минимальной цены, регистрируясь в качестве партнёров или договариваясь с другими партнёрами регистраторов. И криминала в этом в общем-то не было. Но на рынок это решение всё равно повлияет: те компании, которые не снижали цены именно из-за этой поправки теперь смогут установить любые цены, чем скорее всего усилят демпинг.

Вниманию читателей (и себе на память, как обычно) предлагаю законченное решение по отсеиванию ботов поисковых систем — PHP-скрипт, анализирующий активность кроулеров ПС на сайте. Кстати, кроме аналитики такой скрипт может быть полезен, если какой-нибудь особо активный бот мешает нормальной работе сайта.

Скрипт написан на PHP (возможна работа как в режиме модуля Апача, так и в FastCGI), полностью валиден (в рамках соответствия стандартам xHTML1/Strict и CSS/3), имеет гибкую систему настроек и панель управления. Скрипт также может отображать историю активности ботов конкретной поисковой машины.

Скачать скрипт и получить инструкции по его установке можно на сайте его разработчика — Usings.ru, там же есть и демо-версия статистики, генерируемой скриптом.

Я собрал в один список все известные мне сервисы, позволяющие следить за правильной работой сайта и сообщать владельцу, если что-то не работает или работает не правильно — этот процесс обычно называют мониторингом.

В моём списке сервисы упорядочены по увеличению Alexa Traffic Rank основного домена, то есть от самого популярного к самому альтернативному (кроме первого сервиса).

1. Webpinger.ru (уже отключен) — многофункциональный сервис для мониторинга сайтов и серверов. Сообщает о проблемах уведомлениями на электронную почту, ICQ и SMS. Поддерживает основные виды протоколов (http, https, ftp, pop, smtp, socket, dns). Большое число точек мониторинга по всему миру, их количество постоянно растет. Частота проверок от 5 до 60 минут. Подключение 10 первых сайтов бесплатное, большой выбор систем оплат за подключение платного тарифа.

2. Яндекс Метрика умеет проверять доступность сайтов и уведомлять об этом по SMS и e-mail. Хотя, говорят, не очень ровно и не очень вовремя. Необходима установка счётчика на страницы сайта.

3. Pingdom.com — очень популярный англоязычный сервис мониторинга сайтов. Базовый тариф стоит $9.95 в месяц и позволяет контролировать 5 сайтов из множества точек и получать 20 SMS-уведомлений за оплаченный период.
Доступные протоколы мониторинга: HTTP/HTTPS, Ping, TCP/UDP, DNS, POP3/IMAP/SMTP, проверка содержимого страницы.

4. Host-Tracker.com — тоже популярный сервис, но с русскоязычным интерфейсом и бесплатным тарифом. Количество точек для мониторинга — 47. Позволяет бесплатно мониторить 2 сайта с интервалом проверки доступности 30 минут и получать еженедельные отчёты на e-mail.
Более продвинутый мониторинг стоит $5 в месяц (оплатить можно почти всем, даже Яндекс.Деньгами) и позволяет проверять каждые 10 минут до 5 сайтов, формировать отчёты, проверять содержимое страниц и получать до 10 SMS-уведомлений в месяц. Поддерживает отправку уведомлений в ICQ и Jabber.

5. Siteuptime.com позволяет бесплатно проверять 1 сайт. В конце месяца высылает отчёт, имеет много точек мониторинга и замеряет время отклика страницы. На бесплатном тарифе интервал мониторинга может быть 30 или 60 минут, протоколы — HTTP, POP3, SMTP, FTP, SSL, DNS, TCP, Ping, Content, HTTP Password Protection.

6. Site24×7.com — сервис довольно удобный, но тоже платный. Есть бесплатный сильно ограниченный тариф с интервалом мониторинга раз в 60 минут, но с возможностью замеров скорости отклика.

7. Internetseer.com — бесплатный тариф позволяет проводить мониторинг доступности раз в час, остальное — за деньги.

8. Hyperspin.com (они же Wembot.com) — платные сервисы. Полный набор стандартных возможностей (ping, HTTP, HTTPS, FTP, SSH, SMTP, DNS, POP3, IMAP, MySQL, уведомления по e-mail и SMS, 13 точек мониторинга). Расчёт стоимости происходит индивидуально, например, мониторинг 1 сайта по 1 порту раз в 15 минут стоит $2 в месяц, а отправка 1 SMS-уведомления — $0.20.

9. Mon.itor.us — невероятно мощный и функциональный сервис мониторинга сайтов, сервисов и сетей. Куча возможностей по опросу (HTTP, HTTPS, FTP, SIP,IMAP, SMTP, POP3 на любом порту, любой TCP или UDP порт, DNS, Ping) и отчетности, мониторинг из 3 точек, опрос каждые 30-45 минут, предупреждения высылаются на e-mail, ICQ, YIM, MSN, GTalk, SMS. Можно скачать и установить программу-агент (под Windows), который помимо мониторинга процессов, памяти и жестких дисков самой машины может выступать в роли еще одной точки опроса (HTTP и Ping).
Имеет платную премиум-часть — Monitis.com.

10. Montastic.com — бесплатный, простой и эффективный. Позволяет проверять до 100 сайтов, имеет 2 точки мониторинга и интервал проверок около 10 минут. Умеет формировать отчёт в виде RSS-канала.

11. BasicState.com — довольно полезный, и при этом бесплатный сервис. Каждые 15 минут он пытается определить IP-адрес сайта по DNS (resolve), установить HTTP-соединение и получить данные. При возникновении ошибки сервис отправляет уведомление об ошибке, этапе на котором она произошла и её характере. Позволяет мониторить неограниченное количество сайтов.

12. AreMySitesUp.com на бесплатном тарифе обещает проверять сайт раз в 60 минут или быстрее и сообщать в случае проблем, по возможности с анализом их причин.

13. UptimeInspector.ru — платный сервис с большим количеством услуг и сложной схемой подсчёта их стоимости.

14. Verinet.ru (уже отключен) — на бесплатном тарифе мониторит 1 сайт раз в 30 минут и отправляет уведомления на e-mail и ICQ. Платные тарифы от $1 в месяц.

Кроме онлайн-сервисов для мониторинга состояния сайтов, сетей и сервисов можно воспользоваться десктопными приложениями. Стандартом де-факто тут является Nagios, альтернативой — Zabbix. Определённо, стоит упомянуть и о Monit.

Если вы знаете ещё аналогичные сервисы — пишите в комментарии, пополним список.

Сегодня 1 мая, а значит этому блогу исполняется ДВА ГОДА. Именно 1 мая 2007 года был зарегистрирован домен, и в этот же день была опубликована первая запись.

За этот год блог прибавил около 800 читателей, обзавёлся кое-какими новыми фишками.

Если посмотреть на график, который рисует FeedBurner, то можно увидеть, что резкого скачка количества читателей у этого блога не было: обороты набираются постепенно, но стабильно. Заметный провал в начале этого года — это перенос FeedBurner на сервера Google.

Ещё нашёл интересное: скриншот страницы блога, сделанный в 2007 году. Вот он:

Спасибо всем, кто меня читает, это важно для меня. Даже если я буду это отрицать ;-)
Поздравления принимаются в любом эквиваленте и с помощью любого средства связи.

FidoNet — это довольно интересная своими особенностями сеть. Развиваясь и существуя параллельно с интернетом, она всегда имела с ним крайне мало общего.

Фидо явлется международной компьютерной сетью, существующей с 1984 года. Изначально она была создана американскими программистами, но с конца 90-х большая часть узлов этой сети находится в России.

Основные особенности фидо:

• Запрет на коммерческое использование. Сеть бесплатная для всех.
• Неанонимность. Пользователи идентифицируются по ФИО и за нарушение правил могут быть отключены от сети навсегда.
• Ответственность за подключенных пользователей несёт подключивший их узел, который в случае грубого нарушения пользователями правил может быть отключен вместе с ними.
• Довольно строгая внутрисетевая политика. Педантичное исполнение правил («Полиси») продолжается до сих пор.

Такие принципы позволили заранее сделать логически невозможным спам, хамство, навязчивую рекламу и прочие «радости» интернета. Троллинг, впрочем, остался возможным.

Из-за ответственности узла за действия своих пользователей («пойнтов») в сеть попадали в основном друзья, поэтому фидонет часто называли сетью друзей, а обращение на «Вы» в фидо до сих пор считается неуважительным и почти хамским.

Достигнув пика своей популярности к середине 90-х годов, фидонет был сильно подвинут интернетом, ставшим к тому времени более доступным и функциональным. Но сеть не умерла, в ней до сих пор идёт общение.

Уже в 2000-х к правилам фидонета была сделана поправка, разрешающая функционирование узлов, работающих только по принципу «Fido over IP» —  по протоколу Binkp. Это позволило подключать к фидо поверх протоколов интернета. До этого основным способом подключения была прямая модемная связь с узлом.

Я несколько лет назад получил адрес 2:5033/51 и держал узел сети, подключал пользователей. Самое интересное что удалось сделать — это трансляция эхоконференций фидо в поток NNTP, позволившая пользователям обойтись без специального ПО и общаться в фидо через MS Outlook Express.

В Санкт-Петербурге фидошников легче всего найти на фестивале Chaos Constructions (кстати, многие фидошники являются блогерами, которых вы читаете).

А среди моих читателей есть ещё фидошники? :-)

На днях координатор нашего региона (R50C) объявил официальным сайтом региона сайт FidoWeb.ru. Там можно, например, оставить заявку на подключение.

Хостинг-провайдер Majordomo затеял фотоконкурс «Твое рабочее место». Задача — прислать фотографию своего рабочего места (наличие компьютера — обязательное условие) и получить большое число голосов до 18-го февраля. В общем, вот мой вариант:

Мы тут немного посовещались, и решили, что у этой фотографии должны быть большие шансы на победу, так как в ней есть некий креатив или оригинальность, в отличие от большинства других.  Да и компьютеров на ней больше всех :-)

Я уже писал про проект Webo.in (Web Optimizator), который позволяет визуально проанализировать процесс загрузки любого сайта по каждому файлу и запросу и получить конкретные рекомендации по увеличению скорости загрузки этого сайта.

Так вот, в сети появилась книга автора этого сервиса «Разгони свой сайт», в которую вошли несколько десятков статей, подробный анализ как инструментов для анализа, так и некоторых сайтов рунета. В ноябре книга подвергалась исправлениям и дополнениям с помощью хабра-сообщества, а сейчас уже отправлена в редакцию и скоро появится в бумажном виде. А пока её можно скачать в PDF и внимательно прочитать, что я всем, кто этого ещё не сделал, и рекомендую.

Скачать книгу можно на сайте SpeedUpYourWebSite.ru. Там же, кстати, выложено много видео-материалов — лекций и презентаций по клиентской оптимизации сайтов.