Сколько оперативки нужно для mysql при размере таблицы 2гб?

Question

[Wade2k]

Есть база данных для сайта. В ней одна таблица - 5млн строк, 2гб размер.
Изначально это все крутилось на vps с 1гб памяти. Потом начал дорабатывать функционал, и понял, что любое изменение схемы таблицы или тяжелые запросы намертво вешали БД

Сейчас поменял сервер на 4гб оперативы и 2 cpu.
Я правильно понимаю, чтобы все крутилось быстро, нужно чтобы таблица помещалась в оперативку с запасом?
Либо нужно что то дотюнить в настройках mysql?

Mysql 5.7.22 Таблица innodb

Comments

[jasonOk]

https://ruhighload.com/%d0%9e%d0%bf%d1%82%d0%b8%d0...

[Дмитрий Шицков]

PERCONA CONFIGURATION WIZARD FOR MYSQL

[АртемЪ]

Сколько оперативки нужно для mysql при размере таблицы 2гб?

Неправильно поставлен вопрос.

Правильно так -
Сколько оперативки нужно mysql для выполнения определенной операции в определенной БД.
Соответственно нужно сначала указать что за операция, и и что за БД, и тогда можно примерно подсчитать или выяснить опытным путем требуемый размер памяти.

Я правильно понимаю, чтобы все крутилось быстро, нужно чтобы таблица помещалась в оперативку с запасом?

Не обязательно, зависит от задач. Но в общем конечно если все помещается в память то лучше чем с диска. А вот насколько лучше это зависит от задачи в некоторых случаях это вообще малозаметно, в некоторых случаях разница может быть в миллионы раз.

Либо нужно что то дотюнить в настройках mysql?

И это тоже. И опять же любой тюнинг делается под конкретную задачу, а не вообще.

Answer 1

[Андрей Саврасов]

Однозначно дать ответ сколько необходимо оперативки не получится.
Т.к. всё зависит от того, как вы работает с данными.

Есть ли у вас есть большое кол-во не лимитрованных выборок?

Возможно, вам необходимо сделать рефакторинг кода:
- лимитировать выборки по кол-ву записей
- лимитировать выборку только необходимыми данными
- добавить кеширование

Answer 2

[lubezniy]

Здесь важно, чтобы в память помещались индексы. Ну и настройки MySQL надо выставить так, чтобы выделяемой памяти под них хватало. Ещё неплохо бы SSD, если записи мало: с ним производительность взлетает.

Answer 3

[FanatPHP]

Я правильно понимаю, чтобы все крутилось быстро, нужно чтобы таблица помещалась в оперативку с запасом?

Разумеется, нет. Это вообще никак не связанные вещи.
В отличие от новомодных словечек типа nosql, реляционные базы данных спроектированы так, чтобы работать с объемами, во много раз превышающими размер оперативной памяти.

Но чтобы работать нормально, систему надо настраивать. При этом

изменение схемы таблицы

Это одна проблема, со своими решениями, а

тяжелые запросы

-- СОВСЕМ другая, со совсем другими решениями

При изменении таблиц в первую очередь важно свободное место на диске.
А так же производительность дисковой системы вообще. Причем на дешевых (иде) дисках дисковая подсистема грузит именно процессор, а совсем не память

С "тяжелыми" запросами надо разбираться по отдельности.

Comments

[Jhn Doe from by]

Весь комментарий - это что такое? Бред же.
> Причем на дешевых (иде) дисках дисковая подсистема грузит именно процессор, а совсем не память
ЧЕГОо?
> В отличие от новомодных словечек типа nosql, реляционные базы данных спроектированы так, чтобы работать с объемами, во много раз превышающими размер оперативной памяти
В бд на 10gb с одной таблицей и с 1 полем, к примеру id, делаем select id from tablename;
Параллельно наблюдаем что происходит с ОЗУ...
ТСу Wade2k смотрите комментарий lubezniy - он знает что говорит

[FanatPHP]

Jhn Doe from by, открой для себя unbuffered query и понаблюдай за ОЗУ ещё раз.

Answer 4

[Максим Тимофеев]

Я правильно понимаю, чтобы все крутилось быстро, нужно чтобы таблица помещалась в оперативку с запасом?
Либо нужно что то дотюнить в настройках mysql?

надо тюнить запросы, работать со структурой. делать индексы, кэшированием заняться. Можно конечно наращивать мощность до бесконечности, но если Вы не рационально используете базу, это будет бесконечным процессом. Ищите узкие места, ресурсоемкие запросы, думайте как оптимизировать. Для каждого случая - свой оптимальный метод. Иногда это наращивание озу, но это последняя мера. Прежде есть куча других.

Comments

[Wade2k]

Это все понятно. Я в общем случае - кладет ли mysql всю таблицу в оперативку при наличии памяти или нет? Только индексы и кеш?

[Stalker_RED]

Wade2k, вообще мускул умеет заталкивать всякое целиком в память
https://dev.mysql.com/doc/refman/8.0/en/memory-sto...
но сам по себе он этого не сделает, пока вы не настроите.
если есть лишняя память - ее можно использовать с пользой

[FanatPHP]

Wade2k, если ты до сих пор не понял, то ещё раз: количество памяти - не волшебная палочка, которая заставит твои запросы летать. Поэтому не надо думать что тупо набив памяти ты решишь все свои проблемы. Особенно связанные с изменением структуры таблиц. С каждой проблемой надо разбираться отдельно.

[Максим Тимофеев]

Wade2k, Естественно БазыДанных (не только mysql, но и все другие) не работают бездумно, их же не школьники пишут. Таблица в 8гб не требует 8гб. Откуда вообще такая идея взялась?

Answer 5

[Юрий]

добавление оперативки однозначно поможет с SELECT запросами. Но мало добавить оперативку, нужно еще править конфиг mysql, чтобы эта оперативка могла в принципе использоваться, по умолчанию сразу не будет.
В случае же изменения схемы всё как правило упирается в диск. Т.к. все операции с БД должны происходить атомарно (то есть или должны быть произведены полностью или не произведены вообще). Если посередине процесса отключится питание или процесс кто-то убьет недождавшись - таблицы должны сохранится в том виде что было до изменения.
Это очень сложный процесс, и как я говорил упирается больше в диск. Поможет замена hdd на ssd.
Можно делать копию базы (или только одной нужной таблицы) и меняйте схему, потом переименовывайте. Но если в базу идет и запись то просто тоже не получится.