Tmp_table_size и tmpdir = /dev/shm?

Question

[kkoshakk]

Помогите разобраться, если я буду использовать tmpdir = /dev/shm для временных таблиц базы, то зачем указывать tmp_table_size (этот параметр же указывает сколько места выделить в оперативки под временные таблицы)

Answer 1

[landergate]

Представьте, что tmp_table_size - это ваш RAM, а tmpdir - это ваш swap.
Если в вашей операции участвует tmp-таблица, и её размер начинает выходить за пределы tmp_table_size, она переносится на диск, чтобы продолжать работать.

Если у вас много неиспользуемой RAM, вы можете значительно увеличить tmp_table_size, причём не прибегая к /dev/shm, поскольку в нём не окажется никакого смысла.
Только не забудьте пропорционально увеличить и max_heap_table_size, поскольку он распространяется и на tmp-таблицы, ведь до перехода на диск они работают на движке MEMORY.

Если у вас в таблицах используются поля TEXT/BLOB, то tmp-таблицы, связанные с ними, всегда будут размещаться на диске. Если ваше приложение зависит от полей TEXT/BLOB и вам очень часто приходится сталкиваться с tmp-таблицами, то размещение на /dev/shm оправдано. В этом случае tmp_table_size можно оставить низким.

Comments

[kkoshakk]

А что тогда лучше использовать tmp_table_size или /dev/shm памяти 32 GB

[landergate]

kkoshakk: нет разницы, оба будут в RAM, но tmp_table_size проще, чем строить ненужный велосипед с /dev/shm

[landergate]

kkoshakk: вы же не кладёте файл подкачки на ram-disk =)

[kkoshakk]

Временные таблицы же не могут быть созданы в памяти когда в запросе есть TEXT или BLOB, поэтому лучше использовать tmpdir = /dev/shm? Или я не прав?

[kkoshakk]

landergate: А почему велосипед, просто в конфиг добавляешь tmpdir = /dev/shm и все, используется ubuntu, tmpfs уже из коробки

[landergate]

kkoshakk: Да, если используются поля TEXT/BLOB, то они всегда будут размещаться на диске. Если приложение зависит от TEXT/BLOB и вам очень часто приходится сталкиваться с tmp-таблицами, то размещение на /dev/shm оправдано.

Я назвал это велосипедом исключительно в контексте размещения tmpdir в памяти ради скорости (swap на ram-diske), при том, что чтобы tmp-таблица осталась в памяти и не поехала на диск, достаточно было увеличить сам tmp_table_size. В вопросе не было указано, что приложение зависит от TEXT/BLOB, и в их случае обходных путей нет, кроме как: 1) использовать /dev/shm; 2) использовать запросы, не создающие tmp-таблиц для операций, где участвуют поля TEXT или BLOB; 3) использовать отдельную таблицу для полей TEXT/BLOB.

[kkoshakk]

landergate: Если я выбираю !-й вариант (/dev/shm), в конфигу тупо убрать tmp_table_size или изменить значение на 1KB?

[landergate]

kkoshakk: Переход с рам на диск - это определенное лэтенси, даже с /dev/shm, поэтому я бы оставил tmp_table_size дефолтным, чтобы он оставался небольшим, но продолжал использоваться для части операций, где нет blob/text-полей.

[landergate]

kkoshakk: т.е. удалил бы его из конфига, чтобы бд использовало дефолтное значение

Не забудьте отметить ответ кнопкой "Решение" =) а то судя по профилю, вы этого не делаете в принципе, а ведь это основная мотивация отвечать на ваши вопросы

[kkoshakk]

landergate: Спасибо

Answer 2

[kkoshakk]

Временные таблицы же не могут быть созданы в памяти когда в запросе есть TEXT или BLOB, поэтому лучше использовать tmpdir = /dev/shm? Или я не прав?