Какую базу данных выбрать Mysql или Postgres?

Question

[Олег Петров]

Добрый день.
Имею программу для сбора статистических данных, которая их сохраняет в базу в формате MYsql.
Планируется что в базе будет 100-200 млн строк и она будет занимать 200-300Gb или немного побольше.
Будет ли разница в производительности с учетом того, что у меня SSD Samsung 850.
Буду делать большие запросы по всей базе для проведения исследований.

Answer 1

[Дмитрий Дарт]

Тут ответы были что mysql и 400 млн строк держала. Простое количество строк особо не фактор.
В вашем случае я бы выбрал mysql потому что из вопроса не видно бонусов, которые даст PostgreSQL, например поиск по JSON (в mysql есть в последних версиях), LIMIT в подзапросах, нормальный полнотекстовый поиск и другие фишки. Хотя Postgres отличная вещь но надо бы поставить что-то типа pgtune что бы донастроить её из коробки, для кого-то это может стать дополнительной сложностью.

Comments

[Олег Петров]

А какая последняя версия? У меня WorkBench 6.3 CE.

[Дмитрий Дарт]

Олег Петров: Я за ними не слежу особо, поиск по JSON с версии 5.7 дальше видел версию 5.7.19 где-то, может сейчас ещё какие-то вышли, в общем всё что старше 5.7 это достаточно ok ))

Answer 2

[Вячеслав Шиндин]

https://www.timescale.com/

Answer 3

[lega]

Будет ли разница в производительности

Зависит от запросов, вообще обе базы не подходят для статистики.

Comments

[Олег Петров]

А какая подходит? И почему считаете что не подходят?

[freeExec]

Олег Петров: Если вам просто что-то доставать из статистики смотрите с трону mapreduce

[Станислав Б]

Олег Петров: freeExec:
не смотрите в сторону mapreduce. у вас не те объемы

[Олег Петров]

freeExec: Как я понял- это некий новый алгоритм для быстрой обработки сырых данных от Google?
blogerator.org/page/objasnjaem-sut-mapreduce-na-pa...
А он бесплатный? И он сделан для Python?

[lega]

Олег Петров:
яндекс для этого создал clickhouse, а вообще надо на запросы смотреть.

[x67]

Олег Петров: Такие штуки нужны тем, кто в них разбирается и знает зачем они нужны. Без исключений.
lega, а вы все-таки ответьте, какая СУБД подходит для статистики и почему не подходят названные, очень интересно услышать доводы

[Олег Петров]

lega: Пишут что в Clickhouse запросы в сотни раз быстрее,чем просто на Sql. Подскажите а как он подключается? Хотя бы вкратце,Если не трудно.

Answer 4

[Василий Назаров]

Никто (в уме) не скажет вам, что PG или MySQL лучше для вашей задачи (по той формулировке, которую вы задали).
В общем случае, они примерно одно и то же.
Разница может возникнуть в запросах с n+3 JOIN-ов и при профессиональной настроенной структуре (не известно, в чью пользу).
PG сейчас на хайпе, можно и его попробовать. MySQL имеет большее сообщество и без закидонов типа "мы для профессионалов", там вернее подскажут.

Пишут что в Clickhouse

Вроде да, но пока сообщество слабоватое. Возможно, это самый перспективный вариант для анализа (если это не маркетингбулшит от Яши, сложно оценить на сейчас)