Началось всё с того, что мне захотелось получать некоторые данные не прямым запросом, а через прокси. Переписывать много кода пришлось бы в любом случае, но на популярные грабли наступать не хотелось.

Задачу «отправить POST- или GET-методом данные и получить результат через прокси» взялись выполнить два PHP-класса.

Curl HTTP Client — простая, но эффективная ООП-оболочка над библиотекой Curl. Содержит все методы, необходимые для получения данных со страниц, подмены referrer, авторизации, отправки POST-запросов, управления cookies и т.д.

Snoopy the PHP net client — PHP-класс, эмулирующий работу веб-браузера. Он автоматизирует получение содержимого страниц или, например, отправку форм. Запросы формирует функцией fsockopen().

Функции этих классов очень похожи. Оба они умеют получать содержимое страниц, отправлять любые значения полей User-agent и Refferer, передавать данные POST- и GET-методами, передавать Cookies, и ещё куча мелких бонусов у каждого класса.

Но работают они кардинально по-разному: одна использует системную библиотеку, а вторая PHP-функцию, поэтому я решил сделать замеры скорости для этих классов на одинаковой задаче.

Задача получилась такая: подключить класс, установить User-agent и Refferer, получить страницу с чужого сайта, вывести прошедшее время, повторить всё 100 раз.

Увы, результаты презентативными не оказались: классы показали одинаковую работу в одинаковое время с крошечным отрывом Snoopy в пределах погрешности. Так что можно пользоваться любым из них.

Этот пост не совсем обычный — большая его часть написана не мной. Эти мысли прислал мне Владимир «Bolzamo» Большаков, я их только немного откорректировал и добавил свои комментарии. Итак, читаем.

В наши дни web-разработка уже совсем не та, что была в 90-х, а еще через пару лет она изменится ещё больше. На дворе XXI век, и Web 2.0 принёс нам XHTML, Ajax, микроформаты, OpenID, RSS и прочие вкусности.
То, что раньше «лепилось вслепую», теперь уже перерабатывается, проходит стандартизации и спецификации. Это касается и web-технологий, в частности — языков разметки и описания web-интерфейсов: HTML и CSS, о которых и пойдет речь.

Жилинский: А что 90-е? Я в ВГТУ получал сертификат по web-программированию в 2001 году — нам тогда давали PHP3 и говорили, что «некоторые веб-мастера уже иногда используют для верстки DIV-блоки с абсолютным позиционированием, но полностью сделать страницу на них невозможно.»

Но речь пойдет не о самих языках, а о закономерностях их развития и факторах, способствующих или препятствующих ему.

Будучи web-программистом, и ходя большей частью по сайтам таких же гиков и фанатов развития новых технологий, иногда начинаешь считать, что весь web красив и продвинут, что Web 2.0 прочно вошел в нашу жизнь, что красивый ненавязчивый дизайн (разработанный согласно требованиям юзабилити) и блочная семантическая верстка — это обыденность, это нормально…

Но иногда возвращаешься и в реальность, заходя на сайты начинающих разработчиков, или наоборот — специалистов конца прошлого столетия, которые не удосужились оглянуться вокруг. Да и просто на старые сайты, которые интересны контентом, но исполнение которых ужасно. Если со старыми сайтами все более-менее понятно, то тот факт, что многие сайты уже рождаются устаревшими, не может не огорчать.

Сколько их, этих ресурсов, построенных на табличной верстке, в коде которой сломаешь обе ноги, руку и голову? Чья кодировка — windows-1251, перенос строки формата — cr/lf, а у некоторых в еще и <META NAME=»Generator» CONTENT=»FrontPage 4.0″>…

Жилинский: Много. Очень много. Даже в корпоративном сегменте, не говоря уже про Юкоз, Народ и леса сателлитов...

Когда в социальных сетях, тематических блогах или конференциях разработчиков обсуждаются проблемы современной web-разработки и интернет-маркетинга, мало затрагивается тот момент, что когда человек решает заняться web-дизайном, он начинает с изучения табличной верстки, а потом не хочет переучиваться, так как для этого нужно не просто прочитать еще одну книжку, но и перестроить мышление.

Почему HTML изучают с таблиц? Элементарно! Потому что в учебниках написано изучать HTML с таблиц. Все учебники, самоучители и методические пособия вышли в далеких 90х годах, когда CSS рассматривался, разве что, как средство выставить шрифты и расцветку сразу для всего сайта. И слыхом никто не слыхивал о разделении контента и представления.

Есть, конечно, и новые учебники. Полистал недавно парочку… Нашел в них перепечатку старых. Только версия FrontPage поменялась и добавилось пара глав о CSS и блочной верстке. Почему-то авторы этих учебников ни разу не задумываются о том, что, чтобы научить человека чему-то хорошему, надо для начала не учить его плохому.

Кто не согласен с тем, что табличная верстка — это плохо? Почитайте спецификацию: тег table предназначен для представления табличных данных, равно как микроскоп предназначен для изучения микроскопических объектов, а не для забивания гвоздей.

Как-то я разговорился на эту тему с одним программистом, который иногда зарабатывает созданием простеньких сайтов на заказ для местных организаций. Сайты делает просто удивительные: верстка табличная, картинки увесистые, скрипты самописные, ЧПУ даже и не пахло. На все мои увещевания, что это неправильно, что надо стремиться к лучшему, он просто ответил, что веб никогда не был и не будет правильным. Что HTML — это куча мусора, к которой добавили еще одну кучу мусора — CSS, и теперь пытаются присобачить третью кучу мусора, называя ее стандартами веб-разработки. Классная формулировка, которая для многих может показаться вполне резонным оправданием, чтобы продолжать забивать интернет этим самым мусором. А какая разница? Заказчик ничего в этом не смыслит, ему красиво — он доволен.

Жилинский: Да, я как-то тоже разговорился с таким специалистом и счастливым обладателем жуткого сайта. Остались при своих мнениях, кстати.

Вот так мы и находим основные факторы, убивающие мотивацию к дальнейшему развитию себя как web-разработчика, изучению технологий и стандартов:

1. Делаем, как привыкли. Уже научились верстать в таблицах, кажется очень сложным изучать все тонкости и хитросплетения CSS, вдумываться в структуру документа, воевать с багами IE, чтобы достичь кросс-браузерности. На самом деле, блочная верстка куда проще и логичнее, просто сначала стоит изучить вопрос.

2. Заказчику всё равно. Заказчик хочет отдать деньги и увидеть сайт, похожий на картинку, чтобы было очень красиво и иногда еще и понятно написано.

На BlogCamp был весьма интересный мозговой штурм на актуальную тему «стартап в условиях кризиса», в котором я принял активное участие. С учётом того, что на этом мероприятии были и люди, приехавшие с проектами в поисках инвестора, споры были оживлённые и предметные.

Некий общий вывод подтвердил мои мысли — если вы делаете стартап, то просто делайте его, а не бегайте за инвесторами. Они вам не нужны, и даже наоборот. Рунет — это рунет, американские схемы здесь работают плохо. Крупные современные российские порталы никогда не бегали за инвесторами с презентациями, не шли на капитализацию и не получали мешков денег, продаваясь кому-либо.

Верить в модные «инкубаторы» — тоже тот ещё верх оптимизма. Даже если вам удастся получить с них денег, то вы будете «выведены» из проекта, как только он достигнет бета-версии. Я это не придумываю, я видел схемы, по которым эти самые инкубаторы проектировались — поверьте, там нет места для инициатора. Не верите — почитайте Вебпланету или Роем.ру. Сомнений не останется.

Инвестируйте сами в свой проект — откладывайте по $*00 с каждой зарплаты, не бойтесь ждать. Если проект может потерять актуальность за несколько месяцев, то в нём нет смысла. Выбирайте узкие нишевые тематики, в которых хорошо ориентируетесь, это увеличит шансы.

Ели даже таким образом финансов не хватает — найдите адекватного партнёра, у которого есть немного денег и который готов ими рискнуть. Им может стать, например, ваш друг с небольшим стабильным бизнесом по разведению цыплят, знакомый дорвейщик или adult-мастер. Как-то так и начинались наши Рамблеры, Яндексы и прочие Вебальты.

Я не приверженец Movable Type (я использую WordPress), да и вообще веб-приложений, написанных на языках, которые я плохо знаю. Но читатели в комментариях к статье про тюнинг WordPress-блогов убеждали меня, что это — «замечательная платформа, которая всегда впереди WP по многим пунктам.» Я решил всё-таки проверить это, тем более на днях вышла новая официальная русская версия.

Идём на русский сайт MT и качаем архив с последней версией движка. Распаковываем в какой-нибудь каталог, в который есть доступ у веб-сервера. В моём случае это Apache 2.2.8 (httpd) и каталог /home/www/mtblog. Можно попробовать после этого открыть в браузере этот каталог (адрес зависит от настроек веб-сервера), в моём случае — http://localhost/mtblog/. Страница приветствия уже работает, но это пока всё.

Читать далее »

Слово «бар-код» в русском языке появилось благодаря англичанам. Среди значений их глагола bar — «испещрять полосками, зарешечивать». В некоторых словарях этого слова нет вовсе, но в тех, где присутствует, оно пишется через дефис: бар-код. Хотя, не исключаю, что впоследствии его причешут до «баркод» — по привычке.

На данный момент самым популярным и перспективным стандартом кодирования бар-кодов является QR — Quick Response. Это сейчас стандартный для Японии способ кодировать текстовую и графическую информацию в форме маленьких картинок, которые легко отсканировать сотовым телефоном. Если вы напечатаете такую картинку и проведете по ней сотовым телефоном, то закодированный текст автоматически распознается, лишая вас сомнительного удовольствия долго вводить требуемый e-mail или веб адрес, пользуясь крошечными кнопками с клавиатуры телефона. Такие коды в Японии печатают на продуктах, в рекламе, на формах заказа и так далее. Вы можете сами найти такой баркод на процессоре своего компьютера — именно так производится их учёт в Intel и AMD.

QR была разработана в Японии, компанией Denso в 1994 году. Ключевое отличие QR от аналогичных стандартов — учет специфики японского языка средствами UTF-8, что для нас означает возможность спокойно шифровать и русские буквы в QR-кодах.

Этот формат даёт широкий простор для рекламных и вирусных акций с блогами, сайтами, социальными приложениями. Вы можете печатать код своего блога на визитке, можно устраивать разнообразные игры и конкурсы, например, предлагая в качестве призов майки с бар-кодом вашего профиля или сайта.

На iCamp 2008 мы не только пили пиво, но ещё и очень-очень много общались. Под воздействием эпохальных речей норвежских парней из Opera Software о скорой смерти проприетарных стандартов, в голове у представителей различных социальных сетей начали шевелиться мысли…

И начали мы думать, как нам объединить усилия таким образом, чтобы проекты ничего не потеряли, но при этом стали сильнее. Некоторые гнули в свою сторону, мол мы будем интеграторами всея рунета, некоторые махали руками в сторону Google, SocialGraph, FoaF, OpenID и прочих вещей, которые технологически интересны и полезны, но законченного решения, увы, не дают.

Потом мы ещё очень долго думали и к концу третьего дня iCamp мысль начала понемногу фокусироваться и люди с ней начали соглашаться.

Проблема: необходимость для пользователей многократно заполнять свои профайлы в сети.

Причина: невозможность или незаконность парсинга сайтов для получения данных о пользователе даже при его желании.

Решение: создание единого формата обмена пользовательскими данными между сайтами.

Мы решили создать такой формат, придумав кодовое имя OpenProfile. Да, есть аналоги, может быть даже речь идёт об изобретении велосипеда, но мне кажется, что есть шанс сделать действительно удобный, гибкий и полностью децентрализованный формат. В каком-то роде это получится продолжение идеи OpenID, но пересекаться с ним никак не будет, разве что дополнит его.

Поскольку речь идёт о передаче пользовательского логина и пароля в одну сторону и его личной информации в другую, необходимо шифрование канала. Это не большая проблема, так как достаточно обычно SSL-сертификата и взаимодействия между веб-серверами по https-протоколу.

В качестве носителя информации в данном случае идеален XML-формат. Кроме того, сужествуют наработки по обмену данными между базами данных с отличающейся структурой:

1. Спецификация и форматы обмена данными в разнородных информационных системах на базе XML-технологий.

2. Уже почти забытый формат обмена OIFML (уже нет).

Вот, в общем-то, и вся идеология на данный момент. На iCamp-е я заручился поддержкой в этом начинании у представителей нескольких молодых социальных сетей, а уже дома убедился, что и наша команда не против поучаствовать. Поэтому я быстро купил домен и на скорую руку поставил туда движок Wiki для обсуждения, к которому вас и приглашаю.

«Облако тегов» или «Облако меток» (англ. tag cloud) — визуальное представление списка ярлыков. Частота упоминаний, поисков, ссылок в интернете с определенного сайта неких слов, терминов, имен, отображается в виде изображения этих слов в формате гиперссылок. Размер изображения тем больше, чем выше релевантность данного слова.

Теги для многих удобнее категорий, и, наверное, поэтому без них сейчас не обходится ни один проект в концепциях Web 2.0. Для многих CMS есть модули или плагины, выводящие облако тегов. WordPress поддерживает такую функцию начиная с версии 2.3.

Но мне захотелось вывести такую штуку на самописном движке сайта «Коллеги: 1000 IT-блогов». Реализация оказалась проще, чем я думал.

• 1. Создал таблицу соответствий «Тег — Число».
• 2. Заполнил её (несложная функция, подсчитывающая число вхождений тега в таблице блогов).
• 3. Рассчитал максимальное значение и исходя из него — популярность каждого тега в процентах.
• 4. Разделил теги на группы по популярности и назначил им CSS-классы.
• 5. Подготовил соответствующие CSS-классы для отображения.
• 6. Вывел облако на страницу блоком.

TagCloud.phps - формирование облака тегов.

В тексте исходника — все инструкции, дамп таблицы и CSS-классы.

Довольно интересная тема, особенно важная для интернет-магазинов, сайтов турагенств и прочих оператор-ориентированных сервисов. Стандартный подход в рунете такой: в шапке сайта указывается телефон, в подвале — е-мейл, в лучшем случае есть ICQ или форма обратной связи.

Такой подход явно не располагает посетителей к контакту: я не люблю звонить непонятно куда по телефону (да и зачем, я же в сети), ICQ — это что-то личное, да и для контакта требуется слишком длинная цепочка действий, а по почте мы все знаем, что не дождёмся ответа скорее всего никогда.

На западе решением этой проблемы было озадачено несколько компаний, разработавших всё, что можно найти в Google по запросу «Live Chat Software«, то есть программы для мгновенной связи оператора с посетителем сайта. По некоторым данным, такой механизм в хорошей реализации может увеличить конверсию и, соответственно, продажи более чем на 80% (!). Это вполне логично — задать вопрос специалисту проще, чем лазать по каталогу и легче, чем звонить, искать кого-то в ICQ или ждать ответа по e-mail.

Отсюда логически следует жизненный вопрос: как это реализовать, желательно самостоятельно и бесплатно?

Подход первый. Грамотный.
Будем писать сервис под себя. Самый удобный, открытый и подходящий для этой цели стандарт, на мой взгляд — Jabber. Берём class.jabber.php или немного его доработанный вариант PHP Jabber Client и пишем всё, что нам нужно. Для любителей Python: xmpppy.

Не нравится XMPP — можно рискнуть и заморочиться с ICQ, например на основе PHP-класса WebIcqPro или даже Java-библиотеки Joscar. Я думаю, что ICQ следует использовать только в том случае, когда нет возможности использовать Jabber, так как этот протокол не блещет стабильностью, надёжностью и предсказуемостью. Да и возможность несложного создания Jabber2ICQ гейта даёт Jabber`у дополнительное преимущество.

Подход второй. Быстрый. Бесплатный.
Использование бесплатного стороннего мессенджера, желательно не слишком навязчивого и более-менее удобного. Например:

1. Hab.la. Весьма удобный сервис, основанный на Jabber. Легко настраивается, не вызывает конфликтов, легко интегрируется в любую страницу, позволяет использовать любой jabber-клиент на стороне оператора.

2. Google Talk chatback badge . Просто и со вкусом, если грамотно оформить, то вполне приемлемо. Но найден недостаток в реализации — сделано с использованием Flash (Google, ЗАЧЕМ?), что ограничивает в общении неанглоязчных пользователей не-windows. Я надеюсь, в Google исправят этот косяк.

Подход третий. Корпоративный.
Самим писать ничего не хочется, бесплатных сервисов мало, хочется чего-то серьёзного — придётся платить. Не буду рекламировать платные сервисы, скажу только, что идеального среди них я тоже не нашёл, так как каждый стремится к изобретению нового двухколёсного транспортного средства. Вот список более-менее дружественных корпоративному пользователю:

• Веб Мессенджер
• SiteHelper.NET
• GoTalk
• LiveContact

В общем, выбор есть, и я постарался сделать его чуть более очевидным. Пользуйтесь, это очень повышает уровень доверия пользователей к онлайн-сервису.

Предлагаю небольшое исследование на тему безопасности веб-приложений и фильтрации вводимых данных. Скорее всего, я ещё вернусь к этой теме, но сейчас больше хочется не писать трехтомник, а сохранить и упорядочить собранное и проверенное. В частности, речь пойдёт о фильтрационной защите от XSS-атак и SQL-инъекций.

В PHP есть ряд специальных функций для работы со строками, применимых для этой цели. Вот они:

strip_tags() — вырезает теги HTML и PHP из строки.

htmlspecialchars() — конвертирует только специальные символы (‘&’, ‘»‘, »’, ‘<‘ и ‘>’) в HTML сущности (‘&amp;’, ‘&quot;’…). Используется для фильтрации вводимых пользователем данных для защиты от XSS-атак.

htmlentities() — конвертирует все символы в строке (кроме букв) в мнемоники HTML. Используется для защиты от XSS, являясь более гибким аналогом htmlspecialchars.

stripslashes() — удаляет заэкранированные символы (после преобразования в сущности предыдущими функциями их незачем экранировать). Обычно используется в связке с проверочной функцией get_magic_quotes_gpc(), показывающей текущую установку конфигурации magic_quotes_gpc.

Эта конфигурация влияет на то, как будут обрабатываться специальные символы, содержащиеся в данных, передаваемых пользователем (массивы $_GET, $_POST, $_COOKIE). При magic_quotes_gpc = 1 эти спецсимволы (одиночные и двойные кавычки, обратный слэш, байт NULL) автоматически экранируются. При magic_quotes_gpc = 0 все данные передаются в таком виде, в каком их ввел пользователь. В последнем случае в целях безопасности требуется обрабатывать передаваемые данные.

mysql_real_escape_string — мнемонизирует специальные символы в строке для использования в операторе SQL с учётом текущего набора символов в кодировке соединения. Иными словами, функция превращает любую строку в правильную и безопасную для MySQL-запроса. Используется для очистки всех данных, передающихся в MySQL-запрос для защиты от SQL-инъекций.

На основе этих данных, можно собрать функцию для однозначной очистки непроверенных данных. Эта функция получает две переменные — строку с введёнными символами и булево значение для определения — требуется ли приведение к MySQL-запросу. Возвращает функция очищенную строку. Конечно, это не панацея, но функцию легко изменить под собственные нужды.

InputClear.phps - фильтрация введённых пользователями данных.

Если кто-то обнаружит ошибки, или знает способ лучше — добро пожаловать в комментарии, мне очень интересно.

Несмотря на уже довольно «взрослый» номер версии (2.5.1), WordPress пока не избавился от нескольких недостатков, которые с самого начала мешают ему сделать вообще всех.

Помните, чуть больше года назад пользователи, переходящие из ЖЖ (LiveJournal.com) лихорадочно искали удачные сборки Nested Comments + Subscribe To Comments? Я помню.

Проблема первая — древовидные комментарии.

Выходя из того же ЖЖ, новые пользователи ждали и ждут наличия в WordPress привычной и действительно необходимой функциональности — возможности ответить на любой комментарий и получить ответы на e-mail. По какой причине это так и не включили в официальный дистрибутив — загадка. А по какой причине это до сих пор нельзя реализовать без шаманского бубна — большая загадка.

Можно сказать, что нормального, рабочего плагина, основанного на WP Plugin API и работающего без проблем просто нет. В этом блоге никаких threaded-комментариев не будет, пока я не найду или не напишу что-то работоспособное.

Проблема вторая — авторизация.

Писать в каждом блоге своё имя, адрес почты, блога и сколько будет 39+54 все уже порядком подустали, а единой системы авторизации нет даже на горизонте. Нужен аналог Яндекс.Паспорт или Google Accounts, например. Или плагин, который будет работать с аналогичной системой авторизации — с Google это, кажется, даже возможно. Да, есть OpenID — ещё одна группа кривых плагинов:

• WP-OpenID — в данный момент его можно проверить у меня в комментариях. Мой аккаунт в ЖЖ считает анонимом, но комментарии принимает (!). С Я.Блогами работает отлично, но почему нет вообще никаких настроек? И ЖЖ — это не самый малоизвестный сервис.
• Alternate OpenID for WordPress — альтернативный и опять же упрощённый до бесполезности вариант.

Именно по этим двум направлениям очень хочется улучшения. А не через раз работающих флэш-загрузчиков в админке.