Как спроектировать масштабируемую систему для подсчета показов баннеров?

Question

[onlymega]

Доброго времени суток.
Пытаюсь спроектировать масштабируемую систему для подсчета показов баннеров:
Баннер отправляет свой закодированный ID через JS на сервер, сервер сохраняет ID баннера в базу и обновляет поле с количеством показов. В итоге должна быть возможность просматривать статистику показов каждого баннера почасово. Примерное количество просмотров - 5000/сек.
Есть ли готовые cloud решения или есть смысл поднимать свои сервера с load balancer.
Заранее спасибо!

Comments

[onlymega]

Cторонний сервис для рекламы не вариант.
Интересует именно решение с серверами/cloud(aws, azure,...).
Пока самый простой вариант - linode nodebalancer + сервера с nginx которые сохраняют log с get запросами + cron job (на каждом сервере) который распарсит log файл и запишет статистику на главный сервер.
Есть ли более автоматизированные решения?

[sim3x]

для уточнения вопроса - отредактируй его

НЕ пиши ответ к своему вопросу

Answer 1

[sim3x]

Готовое решение - использовать сторонний сервис для рекламы

ключевые моменты

5000/сек

довольно слабый поток. с учетом того, что не надо делать аукцион обьявлений

статистику показов каждого баннера почасово

еще одно упрощение

Общая схема:
nginx в виде отдающего статические обьявы
nginx пишет статистику в логи
логи собираются в БД каждые пол часа или пишутся напрямую по сети в сервер с логами

js может делать просто get запрос, который упадет в лог

когда одного nginx для раздачи не хватает - добавляем сервера для отдачи статики
если необходимо, добавляем перед ними nginx как лоадбаллансер

Основной вопрос в такого рода системах - аукцион обьявлений - что показать данному пользователю на данном сайте. И тут все веселье начинается

Comments

[onlymega]

Спасибо за совет!
А как распастить лог файл чтобы вытащить ID баннера из URL-а - порстрочно регулярным выражением?

[Максим Гречушников]

наверное да, чтоб памяти меньше тратить, загружать файл построчно, обрабатывать,след строка. и т.д.

[sim3x]

onlymega: например так https://docs.python.org/2/library/urlparse.html

[sim3x]

сам лог файл, можно обработать массой способов

Answer 2

[Melkij]

adriver?

Answer 3

[Пума Тайланд]

Такое тянется примерно на 16 серверах с плюшками, у вас вроде задача попроще и можно обойтись меньшим.
Работаем тут над https://www.adspyglass.com/
Из открытых систем насколько я помню до сих пор остался только один openX