На чем писать сервис сбора статистики?

Question

[hMartin]

Добрый вечер.
Хочу написать сервис сбора статистики под свои нужды, трафика много(200-300к) и боюсь, что решение apache+php+mysql потребует больших ресурсов от сервера.
Задача следующая - js скрипт получает некоторые данные и затем должен передать их на скрипт, который сохранит в бд сервера. Инфы будет мало: время+домен+строка.
Что посоветуете?

Comments

[AnimaLocus]

200-300k это за какое время? :)

[hMartin]

сутки

Answer 1

[Masterme]

что-нибудь, что не дохнет как php, например python-wsgi или ruby-rack скрипт. в базу записывать в асинхронном режиме. можно не в базу, а в файл. опач, нжынкс или что другое - без разницы

Comments

[kazmiruk]

В данной ситуации разницы никакой. Пхп сделал свою задачу (записал в базу) и умер. Я бы посмотрел в сторону php-fpm за nginx (повеселитесь с настройками) + монго. Очень быстрая связка как раз для варианта быстрой обработки огромного количества данных. Можно, конечно, и на питоне (разницы по скорости практически не будет). Можно и на раби. Главное чтобы база подходила под задачу. Монго как раз подходит. Есть еще разные тарантулы и похожее, но опыта с ними у меня нет.

[hMartin]

пожалуй сделаю так :) спасибо@kazmiruk

Answer 2

[la0]

Отдавайте 1px.gif и разбирайте логи.
Это самое простое решение.

Comments

[Masterme]

если не нужен реферер, то это хороший вариант

[la0]

Просто формируйте ссылку с учетом всех нужных параметров. Напр. http://stat.serverstat.ru/event/EventName/utmsource/somesource/1px.gif и эту ссылку разбирайте по логам. Или по параметрам (?event=EventName)

[Андрей]

Подскажите чем на стороне сервера ловить пришедший запрос на картинку 1px.gif

[la0]

Можете ловить рерайтом на php-скрипт. Но самое простое -- не ловить никак и разбирать логи вебсервера по крону.

Answer 3

[Андрей Унгер]

nginx+php-fpm - достаточно надежное решение для высоконагруженных серверов. Если правильно настроить конечно

Answer 4

[Дэн Иванов]

4 req/sec. Да делайте как удобно, все справится.

Answer 5

[Par Mactep]

я чем яндекс-метрика не угодила?

Comments

[Дмитрий Печуркин]

когда задают определённые вопросы, это означает что есть определённые условия. Если решение Яндекс.метрики не возможно и нужен именно своя система, то вопрос так и ставят: "Как сделать то то? ". По себе знаю ... сам сейчас ищу способ сбора статистики с последующим выгрузкой. обусловлено тем что "клиенту не удобно. необходимо внедрять в систему" . Есть жизненные реалии входите в положение ...

Answer 6

[Evgeniy]

Как вариант посмотреть в сторону Node.js и MongoDB.

Answer 7

[Ilya Evseev]

Я бы смотрел в сторону http://ru.wikipedia.org/wiki/Pinba