2 миллиона таблиц в 15 тысячах баз в MySQL, как с этим жить?

Question

[Алексей]

Сабж. Как потюнить и что, железо быстрое, нагрузки нет, но запросы тормозят.

Comments

[Mikhail Osher]

15000 - это шарды, или реальные 15000 баз? оО

[Алексей]

Реальные 15 тысяч баз. Это некий гипотетический сервер mysql-хостинга. С базами ничего сделать нельзя. К ним обращаются 15 тысяч пользователей. Объем порядка 250 гигабайт. Все на RAID-10 из очень быстрых серверных SSD, очень много оперативки. В общем, железяка мощная и ДОЛЖНА это потянуть. Но в итоге все тормозит. Простейшие запросы по 5 секунд, очередь из сетевых соединений на 22 тысячи коннектов. Куда пилить?

[Алексей]

Еще немного инфы: при это нагрузка на сервере нулевая, LA = 0, iowait = 0. Куча свободной оперативки, трафик mysql приблизительно 200 мбит.

Answer 1

[Оптимус Пьян]

Приколите хоть народ, откуда у вас 15к баз? И какой у них средний размер? Может объединить все базы, укрупнить, только юзеров разделить? Как в некоторых коммерческих CMS можно несколько сайтов на одной копии CMS создавать, но база у них одна будет.

Answer 2

[xmoonlight]

самое простое:
1. вначале всегда смотрите на кол-во объектов при выборке, прежде чем получать сами строки выборки.
2. ограничьте максимальное кол-во записей до 1, если ищите по ID или ключу.
3. увеличьте размер кэша
4. используйте одну транзакцию вместо нескольких подряд.
5. не используйте связанные таблицы в сложных выборках: делайте 2-3 выборки отдельно в одной транзакции через переменные...

А, ну еще ОБЯЗАТЕЛЬНО: перепроектируйте базу в 3НФ!

Answer 3

[Алексей Черемисин]

Я так понимаю, это хостинг, все базы живут в одном компухтере. Скорее всего Вы упёрлись в производительность дисковой системы или в ресурсы ядра, типа количество открытых сокетов, файлов на пользователя и т.д. Если так, то смотреть где затыки, то и улучшать. Ну и перенести особо нагруженные базы на другой сервер.

Comments

[Алексей]

В общем, это первое, куда я посмотрел. Уже увеличил лимит открытых файлов для юзера mysql, стало намного лучше. Запросы ускорились в 10 раз, но все равно медленно. При этом возросла нагрузка на проц от самого ядра линукса (system = 60%), что еще можно потюнить в самом ядре/линуксе?

[Алексей Черемисин]

iowait если больше 10%, то дисковая система тормозит, меняйте или ускоряйте ее. посмотреть можно через top в строках сверху (96% в примере ниже)
Cpu(s): 2.3%us, 1.7%sy, 0.0%ni, 0.0%id, 96.0%wa, 0.0%hi, 0.0%si, 0.0%st
Вот хорошая статья на тему bencane.com/2012/08/06/troubleshooting-high-io-wai...
Еще посмотреть и настроить лимиты сетевой подсистемы ядра.
Еще смотреть как нагрузка по процессорам распределяется, какие процессы занимают топ 10.

[Алексей Черемисин]

Еще попробовать поменять файловую систему или ее оптимизировать (увеличить размер блока например) или попробовать btrfs или xfs.

[Алексей Черемисин]

ещё статья про iowait habrahabr.ru/post/108958

[Алексей]

Я выше в комментах писал, что iowait = 0.

[Алексей Черемисин]

а я выше писал в комментах, что нужно не только на iowait смотреть.

Answer 4

[Алексей]

Вообще, это такой эксперимент. Был сервер с 5 тысячами баз, с 700 тысячами таблиц. По какому-то там железу спокойно тянул свою нагрузку без напрягов, все летало. Было решено взять крутой сервер в 4 раза мощнее и запихнуть на него в 3 раза больше, по идее должно было заработать, но нет.

Answer 5

[Александр Мелеховец]

Большое значение %sys может говорить о множестве системных вызовов - открытие/закрытие файлов, создание/завершение потоков. Стоит попробовать увеличить table_open_cache и thread_pool_size.

Answer 6

[Пума Тайланд]

раскидать на 15 серверов по тысяче баз для начала.