Какая бд выдержет нагрузку в 10к запросов в минуту?

Question

[Владимир Шикльгрубер]

Всем привет. Пока не много накодил понял что mysqli использовать смысла нету в наше время. В итоге бд должна спокойно выдержать 10к запросов в минуту но могут быть пики и до 200к запросов. Какую выбрать? может какой кластер бд соорудить ?) Зарание спасибо.
PS
на одном форуме мне посоветовали проектировать свою бд и не париться, попрошу не писать такой ответ :)
Ещё мне на другом реурсе посоветовали взять noSQL и писать туда json стоит ли оно моих мучений?)

Comments

[v9lijj]

Советовал бы лично Вам не использовать никаких СУБД, а пригласить специалиста и дать ему денег. Потому что с такими вопросами и понятиями далеко не уедете.

Answer 1

[Сергей Протько]

скорее всего вам посоветовали грамотно проектировать БД, а не свою СУБД написать.

10К запросов в минуту это всего-то 166 запросов в секунду. Далее уже вопрос идет - какого плана запрсы. Если простые селекты то любая сгодится. Ну а если не простые - то тут уже надо думать. Опять же все упирается в архитектуру вашей БД и что вы будете с ней делать.

В целом потсгрес наиболее универсальный ответ, и не только потому что у него производительность норм и он хорошо скейлится горизонтально.

Comments

[Владимир Шикльгрубер]

у меня очень много select а вот при delete подвисает на 100мл. под нагрузкой (mysql) 1к запросов

[Сергей Протько]

Владимир Шикльгрубер: ну используйте тогда myisam например, она быстро удалит. innodb медленно удаляет если у вас большие объемы данных, есть куча вариантов как это обойти. Скажем вместо удаления помечать записи таковыми и удалять потом пачками.

[Леша Киселев]

Можно не удалять, а помечать как удаленные

[Алексей Тутубалин]

Сергей Протько: А как помечаются такие таблицы? писать ил в отдельную? или просто через параметр
DELETE * FROM `same_table` WHERE 'del'='1' а какие надо удалять ставить в поле del 1 иначе 0
Это так делается как я понимаю?

[Сергей Протько]

Алексей Тутубалин: ну типа того. Это один из вариантов как можно обойти конкретную проблему. Единственное что я рекомендую все же проверять такие штуки.

[Алексей Тутубалин]

Сергей Протько: А какие ещё варианты и какие делать проверки? на ложное изменение данных?

[Сергей Протько]

Алексей Тутубалин: не, я конкретно про удаление, а не про то как что помечать и удалять.

Answer 2

[Dmitri Sinitsa]

depends. Во-первых: чтение или запись? Какой уровень сложности запроса (чтения, в данном случае). Кол-во данных? Уровень нормализации (или наоборот денормализации)? Правильно ли выбран движок (нужны ли вам транзакции и т.д), настройка индексов? Настройка самой БД (бдконфиг)? Конфигурация оборудования? Настройка сетевых интерфейсов? И ещё миллиард вопросов и даже одна неправильная настройка может ушатать весь перформанс/

Answer 3

[Sergej]

Пока не много накодил понял что mysqli использовать смысла нету в наше время

Хотя наверное вы правы, эти товарищи зря используют mysql -
https://youtube.com
https://www.tumblr.com
https://twitter.com
https://facebook.com
https://vk.com
... etc.

Надеюсь вы понимаете что проблема не в БД ?

Comments

[Владимир Шикльгрубер]

сколько читал хабр там все её обсирают просто

[Леша Киселев]

Владимир Шикльгрубер: покажите, где обсирают?

[DevMan]

Владимир Шикльгрубер: удваиваю trevoga_su - хабр давно уже не торт.

[Arris]

Владимир Шикльгрубер: а голова вам на что дана? Читать хабр или думать?

Answer 4

[D']

Причем тут mysqli, БД и кол-во запросов в минуту?

Нагрузку нужно масштабировать на другом уровне. Почитайте про горизонтальное масштабирование БД.

Comments

[Владимир Шикльгрубер]

я имел введу mysql уже автоматом дописал

Answer 5

[Дмитрий Авилов]

redis, ничего быстрее быть не может, ибо в памяти лежит.

Comments

[Владимир Шикльгрубер]

как только сервер ребутнеться то всё

[Дмитрий Авилов]

Глупости, в памяти хоть и лежит, а настройки сохранения на диск очень гибкие и удобные, если у вас часто ребутятся сервера - хоть в риалтайме сохраняйте, за счёт производительности, конечно.

[Дмитрий Авилов]

А вообще я невнимательно смотрел, показалось, что 10к запросов в секунду. Если же запросов всего несколько сотен в секунду, то справится любая грамотно спроектированая база, хоть мускль, хоть постгрес, хоть что угодно почти.

[Максим Мосейчук]

Владимир Шикльгрубер: если ребутнется нештатно. От этого никакие db не застрахованы. Redis перед выключением сохраняет базу на диск, а при запуске подгружает.

[Леша Киселев]

fshp: " Redis перед выключением сохраняет базу на диск"
Вот ту вы не правы. Покурите матчасть redis.io/topics/persistence

[Максим Мосейчук]

Леша Киселев: да не так важно, как это организовано, Бинарные логи, снепшоты или ещё что. Главное - перезагрузка сервера не смертельна для базы.

[Леша Киселев]

fshp: Это важно. Можно писать на диск каждое изменение, можно раз в N секунд, можно при достижении количества измененных ключей.
От этого зависит нагрузка на сервер + можно терять часть данных. Для кого-то это очень критично.

Answer 6

[xmoonlight]

Предисловие:
10к запросов в минуту выдержит любая база.
Вопрос - в архитектуре и железе)
Ответ:
хранимые процедуры и первичные ключи должны спасти ситуацию в 99% случаев
Послесловие:
Не беритесь, если не владеете знаниями проектирования нагруженных БД.

Answer 7

[AxisPod]

10к в минуту даже SQLite вытяенет, вопрос действительно в железе где бд будет находится. 200к уже конечно напряжно, но если это только нечастые пики, то MySQL на нормальном сервере выдержит. Но опять же всё зависит от грамотной структуры и оптимизации БД.

Answer 8

[Александр]

Вопрос задан с тегом Postgresql. Даже при настройки из "коробки" проблем не будет.

Answer 9

[Алексей Лебедев]

Мелочевка.

Рекомендую 3 вещи:
- использовать ключи и индексы.
- адекватное железо
- кешировать результаты запросов (ибо, я видел и 100 одинаковых select в секунду)

А вообще, лучше обратиться к профи. Потом исправления выйдут в сотни раз дороже.

Comments

[65536]

ибо, я видел и 100 одинаковых select в секунду

вроде бы в таком случае срабатывает кеширование на уровне субд

[Алексей Лебедев]

65536: возможно? Но есть еще затраты на соединение с БД, а это плохо.

Answer 10

[Влад Животнев]

mysql на ssd без проблем.
В конечном итоге, конечно, всё зависит от схемы базы, количества данных, правильно проставленных индексов и прочего. Можно такую базу сделать, что и один запрос в минуту не будет успевать работать, залочив при этом всю базу =)

Для понимания "масштабов проблемы" 10к запросов в минуту в mysql - это 5-6 запросов главной страницы в секунду сайта на wordpress, что смешно даже для виртуалки за $5.

Answer 11

[Антон Тихомиров]

Позвольте-с, а чем Вы руководствовались, решая, что "mysqli использовать смысла нету в наше время"? Сам MySQLi альтернативы не имеет в рамках выполняемых им задач, может быть Вы имели вообще NoSQL-решения? Тогда да. Только это разные вещи. Все, что Вам предлагают в комментах - это SQL-решения. Просто реально интересны мотивы, когда списывают нормальные технологии по незнанию. Это как переписать проект на объектах на процедуры, располагая только неверно страктованным утверждением, что это прибавляет производительности.

Answer 12

[gordondalos]

Вам нужен кликхаус