@PavelPikat

Как обрабатывать и хранить огромное количество tracking-запросов?

Имеется JS скрипт, похожий на Я.Метрику и Google Analytics который клиенты устанавливают на свои сайты. Скрипт отправляет данные о каждом посетителе на мой сервер.

Как с архитектуной точки зрения организовать обработку и хранение потенциального огромного потока данных, например используя средсва Azure?
Интересуют вещи, такие как сам API-обработчик запросов, куда данные непосредственно будут прилетать с JS-трэкера, так и хранилище, куда API будет эти данные складывать.

Данные будут извлекаться веб-приложением а-ля dashboard, поэтому быстрое извлечение и сортировка данных актуальны.

Идеи которому самому приходят в голову:
- Иметь load-balancer который будет распихивать запросы на обработку в API приложения в ближайших к клиенту ДЦ (региону)
- Иметь распределенное хранилище (смотрю в сторону CosmosDB)
  • Вопрос задан
  • 167 просмотров
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
совет, который уже дан - ничего не стоит
см. Ютуб
"Как VK вставляет данные в ClickHouse с десятков тысяч серверов – Юрий Насретдинов"
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы