Как коллекционировать и работать с данными пользователей?
Доброго времени суток.
Есть задача по сбору данных по определённым хештегам, пользователям, которые их оставили и дальнейшая работа с данными. По приблизительным подсчётам будет около 1000 тегов, и 3 000 000 пользователей. Дальше есть необходимость собрать все данные по пользователям и постоянно увеличивать данные вглубь.
Сами собранные данные сейчас хранятся в cvs и последующая работа, например, с тем, чтобы понять "сколько пользователей упоминают #тег1 и #тег2" сводится к странным манипуляциям в экселе.
Так как данные постоянно прибывают, то и эксель начинает умирать. Предполагал, что можно взять для этих задач apache+php+mysql.
Понимаю, что тут всё зависит от прямоты организации php кода и структуры и оптимизации БД. НО! Быть может для подобных вопросов есть уже готовые решения, которые можно использовать? Имеется ввиду фильтрация и составление особых отчётов. Помогите, направьте, расскажите.
Собственно с тем, что Вы описали MySQL справится без проблем.
Если реально Big Data, есть ClickHouse от Яндекса, например, это СУБД для online обработки аналитических запросов.
Система способна масштабироваться до десятков триллионов записей и петабайт хранимых данных. Использование ClickHouse открывает возможности, которые раньше было даже трудно представить: вы можете сохранять весь поток данных без предварительной агрегации и быстро получать отчёты в любых разрезах. ClickHouse разработан в Яндексе для задач Яндекс.Метрики — второй по величине системы веб-аналитики в мире.
Средний
