Как оптимизировать MariaDB 10.3 для быстродействия?

Question

[RuRoman]

Очень нужна помощь оптимизировать работу базы данных.
Имеем MariaDB 10.3.38 и Ubuntu 20.04.6.
Оперативки 100Gb, 60 ядер.

Нужно обрабатывать не сложные запросы без вложенных запросов, только JOIN.
Но данных много, по 200К - 400К вытаскивать и обрабатывать и по 100К-300К запросов выполнять.

Сейчас конфигурация стандартная, 3000 запросов с JOIN выполняется 4 минуты.
Таблицы InnoDB
Вот конфиг:

[server]

[mysqld]

user                    = mysql
pid-file                = /run/mysqld/mysqld.pid
socket                  = /run/mysqld/mysqld.sock
#port                   = 3306
basedir                 = /usr
datadir                 = /var/lib/mysql
tmpdir                  = /tmp
lc-messages-dir         = /usr/share/mysql

bind-address            = 127.0.0.1

query_cache_size        = 16M

log_error = /var/log/mysql/error.log
expire_logs_days        = 10

character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci


[embedded]

[mariadb]

[mariadb-10.3]

Comments

[Everything_is_bad]

чтобы делать оптимизация, надо сначала понять что именно тормозит
логи медленных запросов есть, планы запросов изучены? может у вас там вообще индексов нет

Answer 1

[Евгений]

https://mariadb.com/docs/server/storage-engines/in...

Answer 2

[Vitaly Karasik]

Правильный ответ - взять фрилансера проанализировать и настроить.
Если это по каким-то причинам нереально, то:
1. Рассказать нам про размер базы, соотношение write/read
2. Активизировать лог медленных запросов и проанализировать
3. Увеличить https://mariadb.com/kb/en/innodb-buffer-pool/
4. Установить мониторинг

Answer 3

[Everything_is_not_so_bad]

А где параметры сервера, включая накопителя данных? HDD/SSD?
Какой-либо мониторинг производительности сервера имеется?

Вот общие рекомендации:

1. Анализ нагрузки ЦПУ, памяти и работы накопителя данных.
   Посмотреть в какие дни и часы пики, насколько большие и долгие (включая связь с профилактическими работами и выполнением резервного копирования, если есть). Работает ли в холостую или полную нагрузку.
   
2. Анализ slow queries (есть множество советов в сети)
   
3. MySQLTuner с сопутствующими рекомендациями по настройке