Какую БД использовать для мониторинга соц сетей?

Question

[turekulovass]

Так как мониторинг соц.сетей нужно все найденные данные сохранять. Из за этого каждым новым запросом база будет расти. Задача состоит в том, что БД:
- поддерживала большой объем данных (она нарастающая)
- возможность создавать динамические таблицы

Comments

[sim3x]

Что такое динамические таблицы?
Зачем они?
Какие параметры 5V?

[turekulovass]

sim3x, Так как результаты от соц сетей разные, не можем использовать шаблонную таблицу. Из за этого хотелось бы чтобы таблицы создавались в соответствии с данными

[sim3x]

turekulovass,

Так как результаты от соц сетей разные, не можем использовать шаблонную таблицу

кто вам такое сказал?

Из за этого хотелось бы чтобы таблицы создавались в соответствии с данными

что не отвечает на вопрос,

Что такое динамические таблицы?

Какие параметры 5V?

Answer 1

[⚡ Kotobotov ⚡]

для обработки неограниченно растущих обьемов данных не используются табличные БД, типа SQL (тк они используют фиксированные структуры)
а вам необходимо использовать динамические системы, которые можно легко масштабировать и расширять, обычно такие системы завязаны на структурах типа "ключ->значение", позволяющие практически не ограниченно расширять хранение, и динамически изменять количество параллельно обрабатывающих эти данные "рабочих" (каждому из них которых можно задать свой диапазон ключей для обработки)
рекомендую для пробы посмотреть на технологии типа kafka, cassandra