В заметке «Определение пауков ПС на PHP» я уже выкладывал элементарный скрипт, которым можно отсечь роботов от людей в статистике посещений сайта, и актуальный список ботов Яндекса.

Теперь вниманию читателей (и себе на память, как обычно) предлагаю законченное решение — PHP-скрипт, анализирующий активность кроулеров ПС на сайте. Кстати, кроме аналитики такой скрипт может быть полезен, если какой-нибудь особо активный бот мешает нормальной работе сайта.

Скрипт написан на PHP (возможна работа как в режиме модуля Апача, так и в FastCGI), полностью валиден (в рамках соответствия стандартам xHTML1/Strict и CSS/3), имеет гибкую систему настроек и панель управления. Скрипт также может отображать историю активности ботов конкретной поисковой машины.

Скачать скрипт и получить инструкции по его установке можно на сайте его разработчика — Usings.ru, там же есть и демо-версия статистики, генерируемой скриптом.

Жилинский Владимир.

INDEK.Биржа — это новая биржа покупки/продажи ссылок для продвижения сайтов и их монетизации.

Интерфейс и схема работы этой биржи процентов на 80 повторяет уже известную биржу Sape, так что разобраться с подключением площадок и созданием кампаний будет довольно просто. Естественно, выходя на уже существующий рынок, создатели этой биржи приготовили несколько бонусов.

Преимущества INDEK.Биржи для вебмастера (размещение ссылок на своих сайтах и получение дохода):

• Комиссия системы 10%, при добавлении качественных сайтов снижается на 70%.
• Продажа ссылок со страниц до пятого уровня вложенности.
• Партнёрская программа с двумя уровнями (доход от реффералов и их реффералов).
• Более безопасный и надёжный код для размещения ссылок на динамических и статических сайтах.
• Цены на обычные и контекстные ссылки можно выставлять отдельно.
• Количество мест для ссылок можно выставлять для каждой страницы индивидуально.
• Бонусы за добавленные сайты с высоким тИЦ – от 100 рублей за тИЦ 10 до 1500 рублей за тИЦ 500, которые можно потратить на покупку ссылок.
• Помощь в легализации доходов.

Преимущества INDEK.Биржи для оптимизатора (покупка ссылок на продвигаемые сайты):

• Основное: поиск, позволяющий покупать ссылки одновременно для любого количества URI за один запрос.
• Увеличение скорости работы интерфейса в несколько раз за счёт кеширования и Ajax.
• Поиск и  покупка блочных и контекстных  ссылок одновременно.
• Интеллектуальный интерфейс покупки ссылок.
• Поиск и покупка блочных и контекстных ссылок одновременно.
• Панель быстрого доступа для веб-мастеров и оптимизаторов.
• Удобные способы ввода и вывода средств – от WM и Robox до безнала и наличных.
• Улучшенный интерфейс, в котором устранены недостатки существующих систем. При этом основные функции сохранены для более лёгкого перехода с других бирж.

Оптимизаторы восприняли новую биржу довольно скептически, что для них вообще характерно, но мне кажется, что попробовать вполне можно — бонусы за сайты с тИЦ неплохие, а ссылок много не бывает.

Содержание рекламных материалов может не отражать точку зрения автора.
Жилинский Владимир.

Началось всё с того, что мне захотелось получать некоторые данные не прямым запросом, а через прокси. Переписывать много кода пришлось бы в любом случае, но на популярные грабли наступать не хотелось.

Задачу «отправить POST- или GET-методом данные и получить результат через прокси» взялись выполнить два PHP-класса.

Curl HTTP Client — простая, но эффективная ООП-оболочка над библиотекой Curl. Содержит все методы, необходимые для получения данных со страниц, подмены referrer, авторизации, отправки POST-запросов, управления cookies и т.д.

Snoopy the PHP net client — PHP-класс, эмулирующий работу веб-браузера. Он автоматизирует получение содержимого страниц или, например, отправку форм. Запросы формирует функцией fsockopen().

Функции этих классов очень похожи. Оба они умеют получать содержимое страниц, отправлять любые значения полей User-agent и Refferer, передавать данные POST- и GET-методами, передавать Cookies, и ещё куча мелких бонусов у каждого класса.

Но работают они кардинально по-разному: одна использует системную библиотеку, а вторая PHP-функцию, поэтому я решил сделать замеры скорости для этих классов на одинаковой задаче.

Задача получилась такая: подключить класс, установить User-agent и Refferer, получить страницу с чужого сайта, вывести прошедшее время, повторить всё 100 раз.

Увы, результаты презентативными не оказались: классы показали одинаковую работу в одинаковое время с крошечным отрывом Snoopy в пределах погрешности. Так что можно пользоваться любым из них.

Жилинский Владимир.

Что-то давно я не писал ничего, исправляюсь. Эта запись будет скорее в стиле «чтобы самому не забыть». Когда-то давно один читатель меня просил сделать произвольную сортировку в таблице, которая рисуется средствами PHP. Бегло просмотрев функции работы с массивами, я понял, что определённо должен быть способ проще. Так и вышло ©.

Вместо того чтобы наворачивать запросы и обработки на PHP можно использовать небольшой JS-скрипт, который перехватит таблицу уже в браузере посетителя и его же силами отсортирует её как угодно.

Поиск такого скрипта (а зачем писать если можно найти?) показал, что их десятки, и многие по навороченности напоминают центр управления космическими полётами, например – соответствующие плагины Tablesorter для JQuery, Phatfusion sortable и Mootable sorting для mootools, Datatables для YUI и TableKit для Prototype.

Думаю, их довольно просто прикрутить и приручить, если один из этих тулкитов в вашем проекте используется. В моём случае так не вышло, а грузить лишний код не хотелось.

Я выбрал два маленьких скрипта, не требующих ничего ни от сайта (нужно подключить один JS-файл), ни от вёрстки (нужно просто задать CSS-класс для заголовков таблицы).

Unobtrusive Table Sort	Standartista

1. Unobtrusive table sort — это мой выбор, я использовал его в выводе результатов работы скрипта для проверки тИЦ и PR.

Этот скрипт умеет сортировать цифры, строки, правильно сортировать даты, размеры файлов и прочее, подсвечивать чётные строки таблиц цветом, а так же делить содержимое больших таблиц на страницы.

Очень легко подключается, и может работать даже без дополнительной CSS-обёртки. Хотя, стоит отметить, с ней он выглядит довольно симпатично.

2. Standartista — очень похожий скрипт, но со своими особенностями. Он умеет сортировать IP-адреса, валюты, числа, текст и даты, а главная его фишка в том, что он сам умеет эти типы данных угадывать, не требуя пояснений.

Жилинский Владимир.

Материал размещён на правах рекламы.

Путей для увеличения заработка на контекстной рекламе несколько, а лучший из них — «умное» использование тех возможностей, которые нам дают системы контекстной рекламы. Речь идет о новом блоке «Наезд» от Зорьки — официального дилера партнерских программ компании Бегун. Он интересен, прежде всего, тем, что привлекает внимание пользователей необычным способом, сохраняя при этом их лояльность.

Надо сказать, что до этого ни в Яндекс-Директе, ни в Бегуне, ни в Google Adsense такие блоки не использовались.

Блок «Наезд» — это горизонтальный блок, размещаемый в верхней части экрана. При загрузке страницы он показывается в полном раскрытом виде, а через некоторое время, которое вы можете сами задать, объявления сворачиваются, и остаются видимыми только заголовки объявлений. Если пользователь наведет мышкой на блок, то объявления снова откроются.

Блок прекрасно вписывается в дизайн любого сайта. Если вы уже заполнили все свободные места на странице под рекламу, у вас появилось еще одно рекламное место. Второй плюс в том, что посетитель гарантировано заметит рекламный блок, что не всегда можно сказать про блоки, размещенные в подвалах сайта, либо в других малокликабельных местах. Одним словом, «наезд» — рекламное место на площадке, и надо сказать, весьма кликабельное, а это всегда дополнительные деньги. К тому же, многие продвинутые пользователи, уже научились отличать рекламные ссылки и стандартными рекламными блоками их уже не заманишь.

В конструкторе объявлений появились новые настройки оформления (для текста — возможность индивидуально для заголовка, текста, домена изменять шрифты, жирность, добавлять\убирать подчеркивание, для фона — возможность менять тип обводки, цвет фона , а также изменять отступ внутри объявления до и после наведения мышью пользователем).

Для нового блока появились дополнительные параметры:

• время задержки блока после открытия
• количество открытий для уникального посетителя

Тут важно выбрать золотую середину. Трех секунд достаточно, чтобы взгляд посетителя задержался на развернутом блоке и для понимания, интересна данная реклама или нет. Самая интересная настройка — количество открытий для уникального посетителя. Вы можете указать количество открытий для посетителя при обновлении или переходе на другие страницы, после которого посетитель будет видеть только заголовки объявлений. При наведении мышкой на которые блок снова раскроется. Т.е. блок не будет постоянно открываться одному и тому же польсетителю.

Новые рекламные блоки от ДПП Бегуна «Зорька» под кодовым названием «Наезд» – хороший способ внести в сайт что-то новое и извлечь дополнительную прибыль.

Содержание рекламных материалов может не отражать точку зрения автора.
Жилинский Владимир.

Новый сервис uBot предоставляет весьма оригинальную функцию — конвертирование ваших RSS-лент (текст) в MP3-подкасты (звук).

В принципе, различные text2speech (TTS) API известны уже давно, но в данном случае речь идёт о чтении текста на русском языке, что весьма смело с учётом его особенностей.

С помощью юБота можно превратить свой блог в «боткаст» — то же самое, что и подкаст, но текст читает не человек, а автоматизированная TTS-система. Больше боткаст от уже привычных подкастов ничем не отличается. Для стандартного движка standalone-блогов (Wordpress)  у юбота есть плагин, добавляющий к каждому посту кнопку «прослушать».

Послушав боткаст на основе своего блога могу сказать следующее — русскоязычные TTS очень продвинулись со времён «Говорилки». Звук уже воспринимается без особого напряжения и его смысл, как правило, понятен.

Сложно воспринимаются, разве что, специализированные термины и англоязычные вставки. И интонация голоса у TTS такая, как будто зачитывается план захвата мира методом угона у NASA боевого спутника.

Ещё у юБота есть некая партнёрская программа, позволяющая делать в боткасты рекламные вставки и получать за это некое вознаграждение. Но я совершенно не понял её принципов — информация об этом на сайте весьма расплывчата.

Хочется, честно говоря, придумать способ скормить сервису OPML-файл и получить на выходе некое блог-радио, которое неспеша читало бы содержимое моего гугл-ридера. Можно, конечно, приспособить какой-нибудь агрегатор или, например, Yahoo Pipes, но лучше бы это была функция от разработчиков. Слушать ленты по одной — не так уж удобно, смысл RSS как раз в миксе.

В качестве примера работы сервиса можете послушать меня в новом формате боткаста.

Мне интересно: есть ли среди читателей люди, для кторых такой формат подачи был бы полезен? Напишите мне в комментариях: стоит ли тратить место на странице под кнопку прослушивания, или это никому не нужно?

Жилинский Владимир.

Интернет-провайдер QWERTY внимательно изучил все посты, учавствовавшие в эстафете “5 вещей, которые мне заменил интернет” и выбрал победителей, которые получат обещанные флешки.

Честно говоря, я не знаю и не имею даже малейшего представления о том, по каким критериям отбирались победители. И всё же, вот их список, мои поздравления принимают:

1) Apple & Tech (Macman.ru)
2) steissd
3) business-mag777
4) barrabulka
5) Лучиэнь ищущая Тень
6) Иван Победоносов
7) ИМХО блог(Imhoblog.ru)
8) Я. Спасибо :-)
9) 1001friends
10) neoguru

В ближайшее время с владельцами этих блогов должны связаться представители QWERTY для уточнения адресов доставки подарков.

Жилинский Владимир.

Я собрал в один список все известные мне сервисы, позволяющие следить за правильной работой сайта и сообщать владельцу, если что-то не работает или работает не правильно — этот процесс обычно называют мониторингом.

В моём списке сервисы упорядочены по увеличению Alexa Traffic Rank основного домена, то есть от самого популярного к самому альтернативному.

1. Яндекс Метрика предназначена для площадок, участвующих в РСЯ, но тоже умеет проверять доступность сайтов и уведомлять об этом по SMS и e-mail. Хотя, говорят, не очень ровно и не очень вовремя. Необходима установка счётчика.

2. Pingdom.com — очень популярный англоязычный сервис мониторинга сайтов. Базовый тариф стоит $9.95 в месяц и позволяет контролировать 5 сайтов из множества точек и получать 20 SMS-уведомлений за оплаченный период.
Доступные протоколы мониторинга: HTTP/HTTPS, Ping, TCP/UDP, DNS, POP3/IMAP/SMTP, проверка содержимого страницы.

3. Host-Tracker.com — тоже популярный сервис, но с русскоязычным интерфейсом и бесплатным тарифом. Количество точек для мониторинга — 47. Позволяет бесплатно мониторить 2 сайта с интервалом проверки доступности 30 минут и получать еженедельные отчёты на e-mail.
Более продвинутый мониторинг стоит $5 в месяц (оплатить можно почти всем, даже Яндекс.Деньгами) и позволяет проверять каждые 10 минут до 5 сайтов, формировать ежедневные отчёты, проверять содержимое страниц и получать до 10 SMS-уведомлений в месяц. Поддерживает также отправку уведомлений в ICQ и Jabber.

4. Siteuptime.com позволяет бесплатно проверять 1 сайт. В конце месяца высылает отчёт, имеет много точек мониторинга и замеряет время отклика страницы. На бесплатном тарифе интервал мониторинга может быть 30 или 60 минут, протоколы — HTTP, POP3, SMTP, FTP, SSL, DNS, TCP, Ping, Content, HTTP Password Protection.

5. Hyperspin.com (они же Wembot.com и Rootinternet.co.uk) — платные сервисы. Полный набор стандартных возможностей (ping, HTTP, HTTPS, FTP, SSH, SMTP, DNS, POP3, IMAP, MySQL, уведомления по e-mail и SMS, 13 точек мониторинга). Расчёт стоимости происходит индивидуально, например, мониторинг 1 сайта по 1 порту раз в 15 минут стоит $2 в месяц, а отправка 1 SMS-уведомления — $0.20.

6. Site24×7.com — сервис довольно удобный, но тоже платный. Есть бесплатный сильно ограниченный тариф с интервалом мониторинга раз в 60 минут, но с возможностью замеров скорости отклика.

7. Internetseer.com — практически то же самое, бесплатный тариф позволяет проводить мониторинг доступности раз в час, остальное — за деньги.

8. Mon.itor.us — невероятно мощный и функциональный сервис мониторинга сайтов, сервисов и сетей. Куча возможностей по опросу (HTTP, HTTPS, FTP, SIP,IMAP, SMTP, POP3 на любом порту, любой TCP или UDP порт, DNS, Ping) и отчетности, мониторинг из 3 точек, опрос каждые 30-45 минут, предупреждения высылаются на e-mail, ICQ, YIM, MSN, GTalk, SMS. Можно скачать и установить программу-агент (под Windows), который помимо мониторинга процессов, памяти и жестких дисков самой машины может выступать в роли еще одной точки опроса (HTTP и Ping).
Имеет платную премиум-часть — Monitis.com.

9. AreMySitesUp.com на бесплатном тарифе обещает проверять сайт раз в 60 минут или быстрее и сообщать в случае проблем, по возможности с анализом их причин.

10. BasicState.com — довольно полезный, и при этом бесплатный сервис. Каждые 15 минут он пытается определить адрес сайта по DNS (resolve), установить HTTP-соединение и получить данные. При возникновении ошибки сервис отправляет уведомление об ошибке, этапе на котором она произошла и её характере. Позволяет мониторить неограниченное количество сайтов.

11. Montastic.com — бесплатный, простой и эффективный. Позволяет проверять до 100 сайтов, имеет 2 точки мониторинга и интервал проверок около 10 минут. Умеет формировать отчёт в виде RSS-канала.

12. UptimeInspector.ru – платный сервис с большим количеством услуг и сложная схема подсчёта их стоимости.

Кроме онлайн-сервисов для мониторинга состояния сайтов, сетей и сервисов можно воспользоваться десктопными приложениями. Стандартом де-факто тут является Nagios, альтернативой — Zabbix.

Если вы знаете ещё аналогичные сервисы — пишите в комментарии, пополним список.

Жилинский Владимир.

Semonitor - это популярный пакет программ, используемый многими SEO-специалистами. Эти программы позиционируются как мощные и простые в использовании инструменты, избавляющие оптимизатора от рутинной работы.

C 19 мая до 19 июня для всех клиентов хостнига Majordomo действуют хорошие скидки:

• Версия Standard - 1500 руб. (скидка 500 руб.)
• Версия Professional - 2750 руб. (скидка 750 руб.)
• Версия Expert - 3500 руб. (скидка 1000 руб.)

Узнать, чем отличаются эти версии и купить необходимую можно на сайте Semonitor.

Логотип Majordomo красуется теперь и в самой программе при её запуске рядом со ссылкой на учебник по поисковой оптимизации.

Кстати, с помощью моего сервиса для анализа показателей сайтов (проверка тИЦ, PR, числа страниц в индексе, наличия в каталогах и FeedBurner-статистики) уже были проверены 50 000 сайтов, на нескольких из них даже размещены счётчики с этого сервиса.

Жилинский Владимир.

Почётное место на моей книжной полке заняла ещё одна книга на тему веб-разработки: «Корпоративный веб-сайт на 100%: требуйте от сайта большего».

Её авторы — Роман Овчинников и Сергей Сухов, сотрудники компании Individ.

В аннотации они характеризуют свой труд так:
«Системное, компактное и хорошо структурированное руководство по всем аспектам работы корпоративных сайтов. Книга обобщает богатый практический опыт ее авторов. На страницах книги вы найдете множество рекомендаций, примеров, методик и контрольных списков, которые позволят сделать ваш веб-сайт мощным бизнес-инструментом.»
Книга разделена на 100 частей по 3-5 страниц, и каждая часть раскрывает какой-либо аспект, характеризующий корпоративный сайт — это и есть её структурированность. Что касается системности, то да — придумать ещё хоть один аспект оценки корпоративного сайта я не смог.

Книга необычная. Возможно, из-за того, что она предназначена не для разработчиков, а для заказчиков. Это не та книжка, которую можно читать перед сном — её надо быстро-быстро листать туда-сюда в процессе написания ТЗ, периодически обращаясь ещё и к поисковикам за разъяснениями. Разработчикам, кстати, книга тоже может оказаться весьма полезной в достижении идеала.

Но, конечно, не стоит воспринимать каждый пункт буквально.

Например, параграф 98, «Поисковая оптимизация» — тема очень динамичная, а утверждения порой спорные. Первым же пунктом авторы советуют прописать для каждой страницы мета-теги «keywords» и «description». Я с искренней верой в бессмысленное и беспощадное трудолюбие людей отправился в портфолио команды Individ в поисках сайта с прописанными метатегами. Первые три сайта оказались без метатегов, следующие два — с ними, но пустыми. В метатегах пятого сайта битрикс хвастался, что он тоже CMS. На этом я поспешил удалиться, пока не нашёл чего-нибудь ещё более страшного, ибо вообще не верю в то, что на этом ужасе можно сделать сайт хотя бы на 15%.

Задумка авторов понятна: книга не является справочником или пособием, она является толковым сборником стандартов разработки корпоративных сайтов, кропотливо собранных авторами на основе своего опыта и накопленных материалов.

Место такой книги на столе директора по маркетингу или в компании, занимающейся созданием сайтов премиум-класса.

Жилинский Владимир.