Сегодня без особого шума открылся новый сервис Яндекса «Народная карта». Суть его в том, что каждый зарегистрированный пользователь может отметить на общей карте любой объект (строение, дорогу, водоём и т.п.), и эту отметку после модерации будут видеть все. Естественно, это улучшит читаемость и увеличит удобство использования карт.

Подробное описание работы сервиса «Народная карта» и обсуждение его развития происходит в блоге проекта.

Кстати, у Google тоже есть аналогичный сервис — «Картограф Google», который в России не очень популярен.

У нас куда большее распространение и популярность получил аналогичный русский геомэшап Wikimapia, использующий API Google Maps. На этом проекте города России уже очень хорошо описаны и размечены.

Так что тут мы видим типичное отличие Яндекса от Google: подчинённые Сергея Брина покупают интересующие их проекты, а сотрудники Аркадия Воложа их копируют, практически не оставляя шансов небольшим компаниям продолжать свой рост и развитие.

Весть о скором закрытии Рейтинга популярных записей в сервисе Яндекс.Поиск по блогам вызвала у многих интерес к API, который Яндекс обещал сохранить. Уже появилось несколько новых рейтингов на основе данных этого API.

Вот и я хочу поделиться некоторыми наблюдениями в этой области.

Итак, собственно, как воспользоваться данными API рейтинга? Простейший вариант — использовать класс SimplePie. Но у нашего фида есть особенности:

1. Он за каким-то чёртом поделен на страницы, и это не лечится.
2. Часть данных передаётся в расширенном формате, непонятном стандартными RSS-классам.

Первую «особенность» можно обойти, последовательно запрашивая все страницы фида, а для обхода второй для класса придётся писать расширение.

Итак, собираем скрипт. Подключаем SimplePie и поочерёдно запрашиваем страниц 20 фида. Пока это просто эксперимент, кеширование можно оставить на файловом уровне класса, но в действующем сервисе уже, конечно, понадобится база данных. На выходе получаем много-много ссылок на записи в блогах. Если присмотреться к ним, то можно сделать некоторые выводы:

— Попасть в этот «топ» довольно просто — две-три ссылки со своих же блогов на других платформах обеспечивают пусть и не высокую, но всё же позицию. Лишь бы блоги были не новые.

— Большое число ссылок на сам блог или сообщество очень помогает. Например, почти все посты сообщества ru_mac попадают в топ за счёт этого.

— Намного больше шансов попасть в рейтинг у блогов на платформе LiveJournal.com. Отдельностоящих блогов там почти нет.

А теперь к досадному моменту: в фиде напрочь отсутствует какая-либо категоризация. Даже банальные теги из ЖЖ в фид не транслируются, что делает весьма затруднительным создание каких-либо тематических рейтингов на основе этого API. Я попробовал набросать некий алгоритм, выдающий записи на околокомпьютерную тематику, но эта идея потерпела фиаско — ни ручной отбор блогов, ни поиск ключевых слов в заголовках не дают нужного эффекта.

Поэтому я обращаюсь к читателям с просьбой предложить идею алгоритма, который выявил бы из рейтинга все записи наших коллег — IT-блогеров.

Несколько лет назад в составе Поиска по блогам Яндекса в качестве эксперимента появился рейтинг популярных записей — небольшой сервис, позволявший найти самые обсуждаемые записи блогеров. В итоге этот сервис стал настоящим медиа-инструментом SMO-специалистов, маркетологов, политиков и прочих заинтересованных лиц. Ещё бы — ведь Яндекс обладает огромным трафиком в рунете. Сегодня Яндекс официально сдался и сообщил о скором отключении этого сервиса:

... Таким инструментом стали пользоваться все, кому не лень – от распространителей ссылок «помогите собрать деньги» до радикалов всех мастей. В результате радикалы одних мастей стали обвинять Яндекс в пособничестве радикалам других мастей, и наоборот. Привычку просматривать страницу рейтинга приобрели журналисты, выведение в топ стало платной услугой, и вот уже власть предержащие смотрят на рейтинг записей как на «глас народа».

... Поэтому мы приняли решение прекратить поддержку сервиса и одновременно предоставить всем желающим техническую возможность сделать свои рейтинги популярных записей — свою версию ответа на вопрос «что сейчас волнует популярных блоггеров».


Таким образом, вместо привычной ТОП-ленты Яндекс предлагает нам RSS-канал с тем же самым содержимым, да ещё и с дополнительными данными, но уже без подпитки трафиком с самого Яндекса. В дополнительных полях RSS-ленты к каждому посту добавлены следующие данные:

• количество ссылок на запись,
• общее количество ссылок на запись за всё время её существования,
• взвешенное количество ссылок на запись (с отфильтрованными накрутками и спамными ссылками),
• количество комментариев к записи,
• общее количество комментариев к записи за всё время её существования,
• количество разных русскоязычных комментаторов у записи,
• количество разных русскоязычных комментаторов у записи за всё время её существования,
• примерное количество посетителей записи.

Используя эти данные не так уж и сложно собрать собственный рейтинг блогосферы и использовать на своё усмотрение. Яндекс по сути сохранил механизм рейтинга, но избавился от ответственности за его содержимое: теперь это бремя ляжет на плечи владельцев тех площадок, которые будут формировать свой рейтинг на основе этого API.

На данный момент Рейтинг популярных записей всё ещё работает и закроется он только в декабре. Думаю, что после его закрытия люди, активно им пользовавшиеся, обратят внимание на аналогичный рейтинг от LiveJournal, предусмотрительно им (и, опять же, недавно) разработанный.

Я собрал в один список все известные мне сервисы, позволяющие следить за правильной работой сайта и сообщать владельцу, если что-то не работает или работает не правильно — этот процесс обычно называют мониторингом.

В моём списке сервисы упорядочены по увеличению Alexa Traffic Rank основного домена, то есть от самого популярного к самому альтернативному (кроме первого сервиса).

1. Webpinger.ru (уже отключен) — многофункциональный сервис для мониторинга сайтов и серверов. Сообщает о проблемах уведомлениями на электронную почту, ICQ и SMS. Поддерживает основные виды протоколов (http, https, ftp, pop, smtp, socket, dns). Большое число точек мониторинга по всему миру, их количество постоянно растет. Частота проверок от 5 до 60 минут. Подключение 10 первых сайтов бесплатное, большой выбор систем оплат за подключение платного тарифа.

2. Яндекс Метрика умеет проверять доступность сайтов и уведомлять об этом по SMS и e-mail. Хотя, говорят, не очень ровно и не очень вовремя. Необходима установка счётчика на страницы сайта.

3. Pingdom.com — очень популярный англоязычный сервис мониторинга сайтов. Базовый тариф стоит $9.95 в месяц и позволяет контролировать 5 сайтов из множества точек и получать 20 SMS-уведомлений за оплаченный период.
Доступные протоколы мониторинга: HTTP/HTTPS, Ping, TCP/UDP, DNS, POP3/IMAP/SMTP, проверка содержимого страницы.

4. Host-Tracker.com — тоже популярный сервис, но с русскоязычным интерфейсом и бесплатным тарифом. Количество точек для мониторинга — 47. Позволяет бесплатно мониторить 2 сайта с интервалом проверки доступности 30 минут и получать еженедельные отчёты на e-mail.
Более продвинутый мониторинг стоит $5 в месяц (оплатить можно почти всем, даже Яндекс.Деньгами) и позволяет проверять каждые 10 минут до 5 сайтов, формировать отчёты, проверять содержимое страниц и получать до 10 SMS-уведомлений в месяц. Поддерживает отправку уведомлений в ICQ и Jabber.

5. Siteuptime.com позволяет бесплатно проверять 1 сайт. В конце месяца высылает отчёт, имеет много точек мониторинга и замеряет время отклика страницы. На бесплатном тарифе интервал мониторинга может быть 30 или 60 минут, протоколы — HTTP, POP3, SMTP, FTP, SSL, DNS, TCP, Ping, Content, HTTP Password Protection.

6. Site24×7.com — сервис довольно удобный, но тоже платный. Есть бесплатный сильно ограниченный тариф с интервалом мониторинга раз в 60 минут, но с возможностью замеров скорости отклика.

7. Internetseer.com — бесплатный тариф позволяет проводить мониторинг доступности раз в час, остальное — за деньги.

8. Hyperspin.com (они же Wembot.com) — платные сервисы. Полный набор стандартных возможностей (ping, HTTP, HTTPS, FTP, SSH, SMTP, DNS, POP3, IMAP, MySQL, уведомления по e-mail и SMS, 13 точек мониторинга). Расчёт стоимости происходит индивидуально, например, мониторинг 1 сайта по 1 порту раз в 15 минут стоит $2 в месяц, а отправка 1 SMS-уведомления — $0.20.

9. Mon.itor.us — невероятно мощный и функциональный сервис мониторинга сайтов, сервисов и сетей. Куча возможностей по опросу (HTTP, HTTPS, FTP, SIP,IMAP, SMTP, POP3 на любом порту, любой TCP или UDP порт, DNS, Ping) и отчетности, мониторинг из 3 точек, опрос каждые 30-45 минут, предупреждения высылаются на e-mail, ICQ, YIM, MSN, GTalk, SMS. Можно скачать и установить программу-агент (под Windows), который помимо мониторинга процессов, памяти и жестких дисков самой машины может выступать в роли еще одной точки опроса (HTTP и Ping).
Имеет платную премиум-часть — Monitis.com.

10. Montastic.com — бесплатный, простой и эффективный. Позволяет проверять до 100 сайтов, имеет 2 точки мониторинга и интервал проверок около 10 минут. Умеет формировать отчёт в виде RSS-канала.

11. BasicState.com — довольно полезный, и при этом бесплатный сервис. Каждые 15 минут он пытается определить IP-адрес сайта по DNS (resolve), установить HTTP-соединение и получить данные. При возникновении ошибки сервис отправляет уведомление об ошибке, этапе на котором она произошла и её характере. Позволяет мониторить неограниченное количество сайтов.

12. AreMySitesUp.com на бесплатном тарифе обещает проверять сайт раз в 60 минут или быстрее и сообщать в случае проблем, по возможности с анализом их причин.

13. UptimeInspector.ru — платный сервис с большим количеством услуг и сложной схемой подсчёта их стоимости.

14. Verinet.ru (уже отключен) — на бесплатном тарифе мониторит 1 сайт раз в 30 минут и отправляет уведомления на e-mail и ICQ. Платные тарифы от $1 в месяц.

Кроме онлайн-сервисов для мониторинга состояния сайтов, сетей и сервисов можно воспользоваться десктопными приложениями. Стандартом де-факто тут является Nagios, альтернативой — Zabbix. Определённо, стоит упомянуть и о Monit.

Если вы знаете ещё аналогичные сервисы — пишите в комментарии, пополним список.

Пожалуй, главная новость интернета за эту неделю — это долгожданное обновление сразу двух популярных браузеров.

Новый браузер от интернет-гиганта Google Chrome получил новую бета-версию 2.0.169.1, которая, впрочем, более чем стабильна. По заявлению разработчиков и тестеров, скорость работы этой программы увеличилась на 25% за счёт перехода на более новые версии компонентов.

А ещё в Chrome добавили режим полноэкранного просмотра (спасибо от моего EeePC), автопрокрутки страниц и ещё несколько приятных мелочей.

А разработчикам советую заглянуть на сайт экспериментов с Chrome, на котором можно отточить свои навыки работы с JavaScript.

Вторая новость — выход Microsoft Internet Explorer 8, который как всегда «быстрее, безопаснее и удобнее», правда в сравнении всего лишь с собственными старыми версиями.

Из нововведений пользователям IE8 обещают «умную» адресную строку, более высокую скорость работы, поддержку акселераторов, веб-фрагментов,  улучшенную безопасность и более точное следование веб-стандартам.

Справедливости ради, стоит отметить, что этот браузер на самом деле лучше своих предыдущих версий, но всё равно хуже более надёжных и безопасных альтернатив: Opera, FireFox, Chrome, Safari…

В подтверждение моих слов: «Взлом браузера Internet Explorer 8 у немецкого студента занял около пяти минут. После этого он получил контроль над компьютером.»

На BlogCamp был весьма интересный мозговой штурм на актуальную тему «стартап в условиях кризиса», в котором я принял активное участие. С учётом того, что на этом мероприятии были и люди, приехавшие с проектами в поисках инвестора, споры были оживлённые и предметные.

Некий общий вывод подтвердил мои мысли — если вы делаете стартап, то просто делайте его, а не бегайте за инвесторами. Они вам не нужны, и даже наоборот. Рунет — это рунет, американские схемы здесь работают плохо. Крупные современные российские порталы никогда не бегали за инвесторами с презентациями, не шли на капитализацию и не получали мешков денег, продаваясь кому-либо.

Верить в модные «инкубаторы» — тоже тот ещё верх оптимизма. Даже если вам удастся получить с них денег, то вы будете «выведены» из проекта, как только он достигнет бета-версии. Я это не придумываю, я видел схемы, по которым эти самые инкубаторы проектировались — поверьте, там нет места для инициатора. Не верите — почитайте Вебпланету или Роем.ру. Сомнений не останется.

Инвестируйте сами в свой проект — откладывайте по $*00 с каждой зарплаты, не бойтесь ждать. Если проект может потерять актуальность за несколько месяцев, то в нём нет смысла. Выбирайте узкие нишевые тематики, в которых хорошо ориентируетесь, это увеличит шансы.

Ели даже таким образом финансов не хватает — найдите адекватного партнёра, у которого есть немного денег и который готов ими рискнуть. Им может стать, например, ваш друг с небольшим стабильным бизнесом по разведению цыплят, знакомый дорвейщик или adult-мастер. Как-то так и начинались наши Рамблеры, Яндексы и прочие Вебальты.

Закончился крупный съезд блогеров в Киеве BlogCamp CEE 2008. Он длился три дня — с пятницы (17 октября) по воскресенье (19 октября).

Чтобы не было скучно и неуютно в чужой стране, мы поехали большой компанией, сформировавшейся из особо опасных активных участников летнего iCamp. Проблему с размещением мы решили радикально, арендовав большую квартиру на Крещатике с потрясающим видом с 11-го этажа:

В первый день мы все прошли регистрацию и получили зелёную майку с символикой BlogCamp, игрушку-змейку от Яндекса и немного макулатуры.

Читать далее »

Яндекс наконец открыл карты и рассказал в своём блоге, что он имел в виду, пугая оптимизаторов грядущим апдейтом алгоритма с кодовым именем «МАГАДАН«.

После последних экспериментов с алгоритмами, которые привели к местами нерелевантной выдаче, Яндекс решил больше не шутить с основной выдачей и спросить таки мнение пользователей (оптимизаторов?), выложив новый алгоритм для начала на отдельном домене — buki.yandex.ru.

Разработчики отмечают, что они вдвое (!) увеличили число факторов, влияющих на ранжирование, провели работу по распознаванию типа текстов и ссылок, смягчили фильтрацию документов для выдачи и научили алгоритм понимать аббревиатуры и транслитерацию.

Оптимизаторы восприняли эту новость по-разному — кто-то радуется, что худшие слухи не подтвердились, а кто-то в шоке от нового алгоритма. Будем надеяться на продолжение поворачивание Яндекса лицом к оптимизаторам и простым пользователям.

Жилинский Владимир.

Несколько дней назад я выкладывал скрипты для определения средствами PHP показателей Яндекс ТиЦ и Google PR для сайтов (это может быть полезно при создании рейтингов, каталогов и для SEO). В комментариях Виталий спрашивал — почему скорость определения ТиЦ такая низкая (до минуты). Причина была найдена вместе с альтернативным решением.

Дело в том, что я пытался определить ТиЦ, используя данные для Яндекс.Бара, которые отдаются медленно (недостаток серверных ресурсов, скорее всего). Решение — обращаться к каталогу Яндекса, который неизбежно показывает нужное значение (хотя, говорят, иногда обновляется с небольшим опозданием).

По скорости — получилось. Всё-таки, каталог — это сайт, а сайт Яндекса должен работать быстро. Исчезли задержки по 30-50 секунд, скрипт выполняется за 0.2 — 0.3 секунды.

Cy-2.phps - получение Яндекс ТиЦ в виде числа.

Проверить скорость и точность работы кода можно на том же тестовом скрипте.

PS: У меня всего 100 коллег? Не верю!

Жилинский Владимир.

Небольшие кусочки интересной информации из интернета:

1. CSS Naked Day.

Сегодня, 9 апреля, действует эта акция в поддержку единых стандартов, так что не удивляйтесь странному дизайну, вернее его отсутствию. CSS выключен.

2. Google App Engine.

Новый сервис Google уже вовсю тестируется знатоками Python. Именно этот язык стал первым, под программы на котором Google бесплатно выделяет место и ресурсы на своих серверах для разработчиков. То что до сих пор использовалось внутри Google теперь доступно разработчикам — GFS, Bigtable, параллелизация, авторизация по аккаунту Google, мощный API. 500 Mb дискового пространства и 10 Gb трафика ежемесячно будет предоставляться бесплатно.

3. Яндекс: апдейт индекса цитирования.

Обновились показатели на счётчиках, на этом блоге уже 600. Проверить свои ТиЦ\PR можно моим скриптом.

Жилинский Владимир.