Файлообменный сервис и распределение нагрузки
18 Янв 2008
Знакомый скинул ссылку на свой новый сервис файлообмена — fileGU.RU (ФайлГуру). Ничего нового я для себя там не нашел — обычное файловое хранилище, но есть приятные особенности — быстрая скорость скачивания и отсутствие премиумов. Сразу решил расспросить его о тонкостях сервиса и о бизнес-модели.
Ребята из одной немецкой компании решили сделать проект для своего портфолио и тем самым «убить двух зайцев» — во-первых, разработка проектов не только в Германии, но и в России, а так же моделирование и
программирование системы распределенного хранения файлов. Оказалось, что особенность этой системы заключается в том, что она сама себя мониторит, и в случаях перегрузки, автоматически реплицирует, часто запрашиваемые, файлы на несколько серверов находяшихся в различных ДЦ. После спада нагрузки, она опять удаляет ненужные копии файлов, освобождая тем самым место на дисках под новые.
Некоторые данные об этом файлообменнике:
- позволяет загрузить файл размером до 1Гб.
- суммарная пропускная способность сети составляет на данный момент 5Гбит/сек.
- суммарный размер свободного места составлет 6Тб.
В данный момент, сайт не содержит рекламы, позже там появится контекстная реклама, но разработчики обещают не перегружать сайт баннерами, поп-апами и Flash-рекламой. Зря мы всё-таки тогда совместный проект забросили. ))
Гигабайт это хорошо)))
Так уж получилось, что я сейчас работаю над подобным проектом и пришел к таким же выводам. Еще неплохо подсчитывать чексуммы и делать линки на одинаковый контент, многие закачивают одно и то же. На файлгу не понравилось, что нет Upload-progress, пусть перелезают на lighttpd-1.5, там это есть :D
Danaki,
уверяю Вас, что это бессмысленое занятие, делать линки. Вы заранее позиционируете свой сервис под варез. Мы удаляем варез сразу, без всяких абуз.
Нам не жалко ни места, ни скорости.
То что есть в lighttpd, есть и в nginx (модуль для 0.6.х), но 0.6.x находится в devel, поэтому пока не выйдет стабильная версия, прогрессбара не будет. Но сам функционал был написан с самого начала.
Вы от вареза не убережетесь по-любому, сделаете вы линки или нет. У наших пользователей будет возможность посылать друг другу файлы, которые можно будет сохранить себе. Вы наплодите кучи бесполезных копий иначе. Чтобы классифицировать что-либо как варез нужен саппорт и завтра вы запаритесь разбирать закаченное если ваш сервис станет хоть чуть-чуть популярным. Нам жалко и места и скорости, потому что работать собираемся долго и деньги считать умеем. Ngynx vs Lighty — вечный спор, я в него не ввязываюсь, просто предпочитаю второй. AJAX’овый progressbar можно было бы сделать на apache, выделив его только под эту задачу и заняв отдельный IP или машину.
Спасибо за полезную информацию.