Коллеги — 1000 IT-блогов.
11 Апр 2008Помните, в сентябре 2007-го я проводил Конкурс Конкурентов с выбором лучших IT-блогеров? С тех пор прошло уже порядком много времени, но проводить конкурс повторно я пока не хочу. А вот блогролла мне уже мало. Да и не конкуренты мы вовсе — я бы сказал, коллеги:
Скрипт ещё толком не отлажен, так что если что — пишите в комментарии. Ну и помогайте наполнять, конечно. Условия добавления блога в эту матрицу — IT-направленность и наличие постов за последние 30 дней.
Скрипт разработан на основе исходника Юрия Пименова (aka Danaki), блог которого заработает к понедельнику.
Ха-ха. Я по условиям не подхожу. ;)
Поздно, Серёга. Поздно :-D
Ох, отличная задумка и реализация. Жму руку!
Ага, прикольно получилось :-)
Отличная вещь, спасибо
Жаль, сам совсем на другую тему пишу :( :D
Мой блог уже заработал. Всем спасибо.
Круто! Обрастаешь поддоменами, молодца! :)
Тебе спасибо, аццкий кодер :-)
Стараюсь, кручусь. Вдруг чего хорошее получится.
Прикольненько. Молодец, задумка клевая! Реализация тоже!
А зачем сделали тайм-аут на подсказку? Не всегда успеваю прочитать последние новости.
В целом круто, только на моем дохлом канале грузится очень долго.
Надо подумать об этом, на счёт таймаута.
На моём тоже долго, и просчитывается долго- всё-таки 1000 изображений в таблице…
Странно, что уже при 10-15 занятых столько времени уходит. Неужели каждая точка из 1000 отдельно считывается?
Исходя из того, с какой скоростью заполняются клетки, то окончательный вид массив примет не более чем за три дня. :)
Там проблема в том, что в ico вебмастера чего только не запихивают… И gif и jpg и bmp и даже plain\text. Браузер с ума сходит локально, но показывает.
Чаз думаю как эту динамику прибить грамотно.
Посмотрим ;-)
В крайнем случае — ещё 1000 добавим :-D
[…] Подробнее о проекте. […]
Спасибо =)))
Почему-то мне кажется, что обновлять подсказку заново каждый раз при наведении на блог не совсем логично… Выдержит ли браузер 1000 подсказок, если на каждую ячейку отдельную завести?
С другой стороны, раз уж сервис долго грузится, можно оставить страницу открытой и завтра посмотреть обновления лент блогов без рефреша страницы ;)
Спасибо, занял козырную клетку :)
А ещё можно внизу страницы сделать ленту из последних добавленных сообщений в RSS :-)
Вообще, подсказка при наведении не обновляется с RSS. Она обновляется из кеша. А кеш обновляется кроном (справа сверху видно когда он обновился).
Полезный сервис, спасибо. Уже давно ждала, когда же кто-нибудь объединит блоги IT-шников. Ссылками для серфинга на вечер обеспечена.)
О как быстро наполняется =)
То ли ещё будет… ;-)
Я ничего не трогал, чесслово :-)
Количество занятых ячеек больше, чем в статистике сверху.
Не успеваем подсчитывать? ;)
На лету не рассчитывается во избежание нагрузки. Считается периодически по мере аппрува и обновления.
Бета, короче =)
Скрипт обновления данных придётся переписывать :-( Он избыточен.
2 Здыхлик:
Всё что можно там кешируется, что бы бедный сервер не нагружать, поэтому число наверху обновится после следующего апдейта.
При каждом обновлении заново качаются все иконки — вот это я выключу нафиг, а иконки можно локально пробегом причёсывать под нужный формат.
И грабить каждый раз страницу не нужно на предмет RSS — они редко меняются.
Вот мои наблюдения по ядру :-)
Практика показывает, что люди меняют иконки, ставят у кого не было. Ну может есть смысл проверять раз в день. На предмет RSS, я думал придумать некоторое эмпирическое правило — обновляем так часто, как обновляется блог, при этом с приближением даты следующего обновления (вычисляем среднее арифметическое), проверяем всё чаще, чтобы не пропустить обновления. Но в итоге оставил всё как есть, на моём проекте 3 посетителя в день, на твоём будет больше — есть смысл совершенствовать :)
Владимир, не забудь сегодня-завтра огласить статистику посещений. Я думаю, что ты обязательно станешь уже не «тясячником», а скажем «трехтысячником» или на крайний случай «двухтысячником» :)
А так, конечно, богатое поле — 999 URL’ов — для исследований и пополнения rss-читалки. Нужно выточить для тебя маленький, настольный, памятничек… от всех IT-блоггеров! :)
Можно раз в неделю пересчитывать потоки и иконки, а обновлять фиды — раз в пол-часа, например.
Не, сейчас пятница — народ уходит на улицу, посещаемость везде падает. Надо было во вторник объявлять, был бы эффект больше. Но я не люблю ждать :-)
Идея в порядке мозгового штурма.
Можно собирать все в одну картинку (пересобирать при наличи изменений), тогда разметка останется такая:
<img id=»colleague» src=»/image.png» onclick=»processClick()»>
Одна картинка будет меньше напрягать и сервер и браузер.
Дальше в js берем координату курсора относительно этой картинки делим на 16 умножаем одну на другую получаем id, дальше грузим для этого id подсказу (которые лежат статикой в папке и обновляются раз в час) или если был клик вызываем goto.php?id=такой-то
Работать будет только при наличии js, но тут просто нужно подумать и решить как перекинуть пользователя без js на отдельную версию, мне кажется в данном случае ускорение для многих важнее, лишнего клика для единиц.
Вот что бывает если перемудрить :-)
На самом деле достаточно вывести общую картинку и разделить её на карты средствами HTML.
Я бы так и сделал, одно мешает — не могу придумать, как переконвертировать все иконки в одну png, если из-за ограничений хостинга (и ограниченности PHP в этом плане) я даже не могу однозначно определить их mime-type :-(
Карты не проще, меняем несколько строк js (а его там и так больше с избытком), на карту для 1000 ячеек. Да раз разделить и раз умножить в любом случае будет быстрее, чем проверить попадание в 1000 прямоугольников.
+ мое решение легко масштабируется, вернее совершенно не зависит от количествава ячеек, хоть 10 000 ячеек будут работать так же легко как и 10, а как будет работать карта на 10 000 ячеек я не знаю (правда если пустых ячеек много может потребоваться массив activeIDs).
Сейчас покажу реализацию, освобожусь немного.
Слепить можно, скриншотом :)
я верю,все само быстро заполняется))))))))))
Вот http://designformasters.info/not-for-dfm/1000/ никаких тормозов и 130 килобайтных страниц, 70 строк js (правда еще и jquery), со всеми подсказками и переходами, на php затычки, добавление блога, можно вынести на отдельную страницу, чтобы разгрузить основную.
Осталось собрать картинку :), но сегодня уже поздно.
Вот класс для работы с иконками http://www.phpclasses.org/browse/file/9705.html, возможно, подойдет для их сборки в png.
Мы с него начали. Нет, не подойдёт. Он работает с x-ico, а у наших коллег вместо иконки png, gif, bmp, ico, txt переименованные в ico. Класс крышей съезжает.
Считать начало файла, в соответствии с форматами это будет:
GIF…
.PNG… — первый байт, что-то непонятное
BM…
в ico ничего приметного, нужно смотреть формат, но отсутствие приметного тоже примета
А после определения типа отрывать, соответствующим образом.
Набросаешь скриптик ? ;-)
Мы с Андреевым (uniwebs.ru) уже задолбались :-)
Посмотрю, но обещать ничего не могу, и точно не сегодня.
Если можно, скинь на почту иконки архивом, чтобы я их не собирал по одной.
В rss вероятно ошибка в title — Blvogosphere.
Эт не ошибка, это недосмотр, куски старого кода )))
Поправим, спасибо =)
Посмотрел, без особых результатов :) вот скрипт, там нужно указать папку с иконками, в которой имя иконки равно id соответствующего сайта в системе (чтобы правильно размещалась в сетке).
На локальном серве собирает более менее, но цвета в иконках немного искажаются: local-img.png (иконки у меня идут подряд).
На хостинге сместо иконок белые пятна: server-img.png, может на твоем хостинге будет работать.
Корень всех проблем в этом классе для иконок, нужно его править, я обзорно посмотрел, исправил баг который был в багрепорте, а дальше может позже гляну. Может кто-нибудь еще посодействует, класс все-таки не одноразовый и может потом пригодиться.
Ну и в opml тоже. ;)
А меня кто-то уже внес..не успел я даже и сам это сделать :-)
Ресурс хороший.
Кстати с комментариями таки какая-то бяка похоже — что-то мои комментарии не появляются :(
прикольно, мне очень понравилось — просто и со вкусом )
надеюсь потом не будут требовать денег за ссылку :)
Да не, не буду. Тем более там редирект :-P
Не, это не бага — это фича. «Автор должен иметь ранее одобренные комментарии» :-)
А, ну я ж не в курсе. Может стоит об этом написать в блоке, где пишется комментарий?
Хорошая идея. Давно пора поправить этот блок — OpenID заодно починить и баг эксплорера там пофиксить как-то… =)
Добавился, весь =)
А мне вот пишет, что я уже там есть, только найти себя не могу :)
По порядку — я , потом Третьяк, потом ты =)
IE7 себя очень жестко ведет :)
http://www.ii4.ru/images/946025kollegi.jpg
К счастью я этого не вижу :-)
И другим советую скачать браузер, а не пользоваться ослом.
В данный момент, к сожалению, нет возможности использовать что-то кроме осла :(
А как на счёт:
http://portableapps.com/apps/internet/firefox_portable
?
!!!!
Никак не привыкну к портативному софту %)))) Спасиб )))
Ыщ ! Доброе дело сделал — день прожит не зря :-D
Проделана чудовищная работа — я заставил «Коллег» работать в опере и осле. Но осёл всё равно обламывается с PNG-прозрачностью, поэтому специально для IE-
looUser`oв сделал снизу строчку (показывается только в IE), рекомендующую разжиться браузером.:-)
Кстати, ты пробовал мой скрипт, на своем хостинге, а то у меня уже все собирается: 1000.png
Я все иконки пересобрал в один майм-тип — PNG.
Эхх, всё те же грабли, которые я уже прошёл и PNG и IE (поэтому фон у PNG у меня всегда белый). И Yahoo UI для tooltips был выбран не просто так, а после ряда тестов разных похожих и либа для работы с .ico и т.д. и т.п. Смотрю со стороны на происходящее, интересно что у тебя получится :)
О, респектище, это должно дать прирост скорости. Хорошо бы еще этому PNG сделать вразумительный expiration time, чтоб кешился у клиента.
:), ну так я же сначала со старым набором тестил, там было все подряд, разобрался в чем косяк был с цветами, это я оказывается не ту иконку вытаскивал :), а потом собрал, то что на сайте было, так что должно и так и так работать.
Если теперь с иконками все понятно, то почему бы не склеять это дело, а то при 130 иконках у меня 40 сек грузиться, при тысяче можно будет кофейку попить сгонять.
А в подсказке к последним сообщения стоит, содержание поста показывать, а не дублировать заголовок.
Разделил парсинг RSS и парсинг страниц и иконок.
RSS теперь грабятся отдельным скриптом, который в кроне */10 * * * *.
RSS и иконка страницы парсится при её добавлении (какой-то глюк с RSS — не всегда сохраняется в базу, надо пофиксить ещё).
Сделал обработку «странных» дат в RSS-лентах (Лебедев, сцуко, пишет в будущем).
Решил вообще не выводить в ленту посты, у которых авторы (родственники Кулибина) неверно выдают ссылку в стиле «123 at site.ru» вместо «http: site.ru?p=123».
До объединения картинок в одну пока руки не дошли =(
Сделана статистика кликов по иконкам.
В «жёлтый прямоугольник» в списке последних сообщений выводится то, что распарсилось из содержимого поста в RSS. Форматы у всех разные, не всё угадывается. Куча нереально кривых и кулибинских XML-потоков.
Попал в популярную рассылку — «Продвижение сайта. Профессиональные советы экспертов» (от команды Ашманова):
Число блогов в Коллегах на данный момент — 278.
Не юзабильно получилось. Сделайте, чтобы при наведении на красный квадратик — подсвечивался урл блога. Иначе — надо помнить карту блогов, что совсем перебор :)
Вот так ? :-)
Да, так намного лучше.
Причесал страницы, настроил вывод последних сообщений теперь не во всплывающих блоках, а прямо на страницу. В всплывающих блоках — URI страницы.
Потом наверное выведу в блок название и адрес ресурса, для этого нужно немного изменить структуру базы.
И «Чистилка» нужна, чтобы база не перегрузилась содержимым RSS.
Размышляю о том, как быть с потоками, которые в 1970-м году пишут, или адреса неверно выдают… Похоже основные типы придётся придумать как распарсить.
При добавлении получил сообщение об ошибке парсинга RSS. Но вопросик появился. (2,2) от правого верхнего угла. Нумерация с 1 :)
И у меня вопрос — так занята клеточка или нет?
В блоге в хидере прописан собственный фид, а передаётся на фидбёрнер…
Поправил :-)
Неужто я первый такой? :) Это стандартная работа FeedBurner FeedSmith plugin for WordPress, как я понимаю.
Просто мой скрпит не умеет обрабатывать редиректы похоже :-)
Кстати, дизреспект авторам плагина за такой костыль. Можно поменять в шаблоне ссылку на прямой фид фидбернера — зачем лишний редирект делать…
Эмм… А на хабр никто не закинет? А то у меня карма в хроническом минусе за нелюбовь к Micro$oft`у :-)
Что именно нужно закинуть? У меня там карма в норме..
Там, кажется, есть блог «Я пиарюсь», или что-то вроде. Можно где-нибудь упомянуть, если не страшно рискнуть кармой. Хрен их знает этих хабражителей.
Есть. Меня только интересует — какой текст размещать :)
Я думаю, можно немного адаптировать текст этого поста под местное население. Скомпиллировать так сказать. Я там, кстати, zhilinsky :-)
А я anycolor. Сейчас зафрендим-с :) Выложу на Хабр — дам ссылку.
http://habrahabr.ru/blog/i_am_advertising/40758.html
Ммм, спасибо! Надеюсь, карму не подровняют :-)
* Думаю над скриптом поиска по коллегам.
Мне как-то всеравно, что будет с кармой :)
Мне тоже, что хорошо видно из моего кармаграфика :-D
Кстати и карму уже и Вам поправили + я немного добавил. Так что уже сможете поститься скоро я думаю. Общественность хорошо восприняла.
А пинговалку приделать слабо? Я бы пинговал ))
Да можно бы… Попозже чуток.
нет, все правильно — так есть возможность отловить и посчитать уже существующих подписчиков — не все же с нуля фидбернером пользуются…
Кстати, откуда урлы берете, чтоб в ленте показывать???
Интересует вопрос, откуда у меня вылязят грабли вида http://yakov.name/?p=95 — не понимаю, Вордпресс, вроде бы, должен пресекать все поползновения в эту сторону, ровнять в сторону мод-реврайта… Знать бы, откуда оно вылезает, можно было бы попробовать побороть…
Это берётся из rss. Вам ещё повезло, что там работчие урлы. Сообщения с многих блогов не проходят в ленту ВООБЩЕ — потому что в поле адреса в RSS какая-нибудь хрень типа «234 аt kulibin.ru»…
Вова, клевый скрипт! Спасибо!
Хм… Мои датчики показывают, что нас имеют =) Некто instruktor с хабра накрутил себе 400 переходов зачем-то.
На данный момент занято 401 ячейка. Готов поспорить на пиво, что 1000 хватит на ближайший год, как я и рассчитывал :-)
Фавиконка сайта truediamon.ru. Жесть, господа :-D с разрешением 400 х 400.
Кстати, вышли на н2 вчера :-)
Сделан ПОИСК по следующим полям:
1. Адрес блога (пример: «zhilinsky»).
2. Название блога (пример: «Владимир»).
3. Описание блога (пример: «Just another WordPress weblog»).
Поиск работает без перезагрузки страницы (prototype ajax).
Сделал систему рейтинга блогов.
Ввёл некий «Вес» — число, характеризующее важность блога. Рассчитывается на основе Яндекс.ТиЦ, Google PR и чёрной магии.
На странице http://kollegi.zhilinsky.ru/list.php блоги упорядочены именно по нему и оно выведено в заголовок.
ЗЫ: Если добавить теги к блогам, то получится полноценный каталог :-P
Если ещё сделать автоматический анализ содержания (я понимаю, что ручная модерация будет дешевле :), можно реализовать очередную безумную идею господина Шеллера. ;)
Вот с содержанием траблы. Парсить страницы у меня на этом серваке мощностей не хватит, а в RSS у народа ТАКОЙ БРЕД, что вон та фавиконка, что чуть повыше — фигня по сравнению с этим.
У меня большая часть фильтров на вывод в ленту сводится к «если там бред, то убрать нафиг», поэтому многие блоги туда ВООБЩЕ не выводятся. А БРЕД всё равно проходит =(
Хотя… Можно в принципе, если постепенно, забрать главные страницы, проанализировать на тему ключевых слов и сохранить индекс-файл… Получится поисковик по IT-блогам =)
Вообще в сумме статистика грустная — многие айтишники не в состоянии фидбёрнер нормально настроить :-(
Молчу уже про то, что нет фавиконок (или есть, но см. выше), нет title, фид не валиден и прочее…
ЛайфХаков два зачем?
Было :-)
Спасибо.
Я там сдуру добавил второй раз свой блог, не нужно его туда вставлять. Думал фавиконка поменяется. Не мог бы ты мою заявку убить и посоветовать как я мог бы поменять иконку??
А всё уже сделано :-)
Супер, спасибо!
http://kollegi.zhilinsky.ru/opml.php — битый :(
Кажется, поправил. Потом доточу =)
http://kollegi.zhilinsky.ru/back.php
Все отзывы блогосферы на Коллег по версии поиска по блогам яндекса.
Думаю на тему тегов. Мысли радостно приходят в голову, будет что-то интересное :-D
Вообще, я понял, что мы ступили. Все иконки можно спокойно брать уже в перевариваемом PNG-формате с favicon.yandex.ru и не мучаться с детьми Кулибина.
Эм… а может уже пора все фав-иконы объединять в одно изображение? А то у меня сайт грузится пипец как долго… да и вообще — сделать сайт как можно более статичным :).
Да, с забором иконок с Яндекса это теперь будет вполне реально реализовать. Вот только со всплывающими окнами пока не придумал как сделать.
Возможно технология спрайтов прокатит… Думаю =)
Проведён апдейт иконок (многие добавили, молодцы) и сверка с яндексом. Сервак яндекса не забирает похоже вообще иконки с com и org.
Эм.. ещё такое предложение — всплывающие окна не гасить вообще никогда пока не двинулся курсор… я блин не успеваю прочитать шо там написано :))) а связь у меня довольно приличная…
Картинки собраны в один PNG. Пока особо не отлажено, но в FF, Op и IE проверено отображение.
Бэкграунд теперь просто позиционируется, картинка грузится одна. Нет, вернее всё-таки две: прозрачный пиксель задаёт размер 16х16. От этого можно как-то избавиться, интересно?
Володя, я тебя пропиарил у себя! :)
Спасибо огромное! Пиар у тебя теперь наверное многого стоит ;-)
На твой блог с форума оптимизаторов как на экскурсию теперь ходят — на PR посмотреть и убедиться лично :-D
Последний пиксель побеждён. Теперь всё позиционируется на CSS. В IE правда почему-то курсор мельтешит в момент всплытия подсказки, но говнобраузеры будут всегда, это закон :-(
Да ладно, не так дорого, как хотелось бы. Да и клиентов, как видишь, раз и обчёлся… :)
http://webloger.ru/2008/05/kollegi-1000-it-blogerov-na-odnoj-stranice/
Моё интервью про «Коллег» :-)
А кто может подсказать, как переместить свой блог в другое место на картинке?
Я могу :-)
Нужен адрес блога, id его ячейки и id пустой ячейки.
Прошу переместить http://mdanshin.blogspot.com, ID=947 на 985.
Готово =)
Новость: Пройдена первая половина пути, чиcло блогов перевалило за 500 :-)
что-то часто у меня http://kollegi.zhilinsky.ru/ не грузится =(( хотя ваш блог рабатает
Похоже, мажордомо всё-таки достиг потолка нагрузки. Попробую перенести на новый сервер всё это хозяйство.
Каким образом изменить добавленный блог:
В данный момент я сменил имя блога, так же в ближайшее время планирую переехать на другой сайт.
Как быть? :=)
Пишите сюда, буду править по мере :-)
Оказывается, в рамках типа x-ico возможно даже такое xD
Убран вывод сообщений, содержащих мат. Что-то многие реально увлеклись этим делом.
О том, как это реализовано — см. последний пост.
Сделано облако тегов и вывод блогов по тегам.
А не подскажите, каким образом у вас грабятся скриншоты сайтов — а то как-то интересовался этим вопросом, так для этого нужен был чуть ли не выделенный сервер и обращения к api браузера… видимо можно всё сделать гораздо проще — поэтому и интересуюсь 8-)
Сорри — не заметил подпись websnapr.com 8-)
Тогда ещё вопрос — как в итоге разобрались то с иконками — сграбили большинство с блогов Яндекса, остальные напрямую, конвертнули все в пнг и склеили стандартными гд-шными функциями пхп (или имагиков или другим каким классом/библиотекой)? В принципе задача для меня сейчас такая не актуально, но на перспективу полезно было бы я думаю просто знать как это можно сделать 8-)
Как минимум два варианта нахаляву:
[img src=’http://images.websnapr.com/?url=адрес сайта&size=t&key=свой получить на сайте&nocache=93′]
[img src=’http://open.thumbshots.org/image.aspx?url=адрес сайта‘]
С иконками по-прежнему весело. Простейшим путём вижу просто забирать их с Favicon.yandex.ru, потому что там они в нужном размере и в PNG.
Разбирать то, что на сайтах — практически малореально (см. пару примеров выше) :-)
Убрал штук 5 блогов, на которых не было обновлений полгода или которые не работали вообще.
Парсинг перестал застрявать. =)
Ковыряю дизайн и делаю кое-что новое. =)
RSS это конечно хорошо, но как то неудобно. Я например пользуюсь FeedReader, который сидит себе в фоне и собирает новости ото всюду, в том числе и с «коллег». Где-то раза два-три в неделю я просматриваю что он награбил, и вот меня заинтересовал чей то пост, я жму на ссылку — открывается главная страница вашего проекта, а так как я опоздал на пару дней, то естественно этого поста уже нет — иди найди его теперь. :(
Может следует давать прямые ссылки на посты или хотя бы выдавать их полностью. Это конечно две крайности, но я уже достаточно много интересного так проворонил. :)
Надеюсь что не очень запутанно объяснил :)
Валерий, сейчас на Коллегах 2 RSS-ленты: одна с новыми блогами, вторая с новыми сообщениями в блогах. В обоих лентах проставляются ссылки на сами блоги, проверьте:
1. http://kollegi.zhilinsky.ru/feed.php
2. http://feeds.feedburner.com/kollegi
Не может там главная страница открываться %)
Видимо это баг FeedReader’a. Я подписан на вторую ленту, но у меня ссылки со всех постов вели на главную страницу. Подписался другим агрегатором (что встроенный в оперу, что в firefox) все заработало.
Спасибо что навели на мысль, сам что-то сразу не догадался другими программами попробовать :)
Может переподписаться просто? Вроде достойный софт. Советую попробовать Omea FeedReader — отличная вещь, хотя сам Google Reader-ом пользуюсь — лень синхронизировать =)
Кстати, мне одному кажется, что в RSS можно отдавать HTML вместо голого текста или в этом есть смысл?
600 блогов!
И понемногу начинаю перенос на отдельный домен. Пока готово только ядро и почти дизайн: http://itnation.ru/
А я вот ради интереса подписался на все блоги. И начал чистку. Честно говоря, зрелище душераздирающее. В худшем случае лытдыбр, в лучшем — seo… Ну ладно, про Linux кое-кто пишет.
[…] днях я всё-таки переделал свой каталог IT-блогов “Коллеги” и вынес его на отдельный сайт — ITNation.ru, а со старого […]
[…] и блогеры смогут ещё что-нибудь вкусить.) Ведь как-то в комментариях Жилинский Владимир обронил фразу — “То ли ещё […]