Как в 2017 году принято делать счетчик показов?

Question

[Растишка]

Есть js виджет, который будет ставиться на сторонние сайты. Надо посчитать количество показов виджета. Нагрузка скорее всего будет большая. Придумались варианты:

1. Шлем запрос на api, там скрипт делает INSERT в базу - инсерт в базу скорее всего будет медленный, нафиг.
   
2. Шлем запрос на api, там простой скрипт делает append в файл. По крону считаем что там записалось - выглядит уже лучше.
   
3. Шлем запрос на api, который ничего не делает. Потом грепаем логи по крону.
   

Какие есть еще варианты? Какой выбрать?

Answer 1

[Евгений Вольф]

Какие есть еще варианты? Какой выбрать?

Ещё есть варианты, типа Redis/Memcached, таблицы в памяти, вариант отключить синхронизацию с файловой системой в БД, использовать MongoDb или другую базу подобного плана и т.д., есть специальный тип таблиц, например, ARCHIVE в MySQL оптимизированные специально на запись... Масса вариантов, в общей сложности.

Шлем запрос на api, который ничего не делает. Потом грепаем логи по крону.

Не уверен, что это быстрее чем база данных.

Шлем запрос на api, там скрипт делает INSERT в базу - инсерт в базу скорее всего будет медленный, нафиг.

Если Вам нужен счётчик, это будет не "INSERT" а скорее "UPSERT" ("INSERT or UPDATE"), а ещё лучше сразу UPDATE (т.е. заводить запись с текущей циферкой счётчика до того, как будет пытаться её UPDATE'ить).

Шлем запрос на api, там простой скрипт делает append в файл. По крону считаем что там записалось - выглядит уже лучше.

А как на счёт конкурентного доступа к файлу?

Answer 2

[Антон Иванов]

1. Пишем все запросы в redis или что-то похожее
2. Раз в минуту/час/день снимаем счетчик из редиски и пишем его уже куда душе угодно (БД MySQL, файл)

Answer 3

[Дмитрий Кузнецов]

Можно попробовать отправлять через api в кэш, а потом же по крону отправлять insert запрос.

Comments

[Растишка]

Не понял метод, можете пояснить подробнее?

[Дмитрий Кузнецов]

Ну допустим, пользователь "подхватил" ваш js код. Код отправляет по api запрос на ваш сервер и сервер записывает данные (например, счётчик, мол пользователь посмотрел) в кэш. Далее, в определённое время крон берёт эту инфу и записывает в бд.
Такой конечно вариант не очень правильный, с точки зрения обновления данных, если вы даёте пользователю (или себе) смотреть данные в реальном времени. Так как данные будут записываться не сразу (смотря как настроите). Да и на "средней" посещаемости это будет выгодно. На маленькой посещалки и высокой это будем наоборот тормозить.

PS: что-то я теперь понял, что этот вариант не вариант, а бред плохого разработчика (то бишь меня)))))

[Дмитрий Кузнецов]

Растишка, правильней будет сделать как Евгений Вольф предложил, использовать редиску\мемкэш.

Answer 4

[alex stephen]

Redis, и только он.

Если есть множество уникальных ID'шников, то поможет связка Redis и HyperLogLog
Подробнее читать здесь