Почему долго выполняются запросы mysql?

Question

[Иван Иванов]

Есть таблица, в ней 12 миллионов записей. При любой выборке(пример: select * from table where url = "test" limit 1) потихоньку кончается память(всего на нем 8 ГБ ОЗУ) и, естественно, получить запись не удается. Как бы я ни пробовал изменять запрос, ничего не помогает.

Comments

[ChernovGV]

Индекс на поле url можно накинуть...

[Антон Антон]

ChernovGV, от наличия или отсутствия индекса память не должна утекать...

[Антон Антон]

Максим Фикс, запрос выполняется в консоли mysql или каким-то кодом?

[Sergey]

ChernovGV, индекс не поможет, если уникальных значений в url больше половины,может даже хуже сделать. Вопрос очень мало данных содержит

[Иван Иванов]

Антон Антон, хоть из консоли, хоть через php - будет падать. Поле url не уникальное

[Антон Антон]

Максим Фикс, с limit 1?

[Иван Иванов]

Антон Антон, Да, даже с limit 1 mysql проходит все строки(13 млн), хотя я создал индекс для данного поля

[Антон Антон]

Максим Фикс, не верю. более того, проходить-то он может и проходит (сканом до первого совпадения), но память от этого прохода расти все равно не должна

[Иван Иванов]

Антон Антон,

MariaDB [yii2advanced]> DESCRIBE select * from scan limit 1;
+------+-------------+-------+------+---------------+------+---------+------+----------+-------+
| id   | select_type | table | type | possible_keys | key  | key_len | ref  | rows     | Extra |
+------+-------------+-------+------+---------------+------+---------+------+----------+-------+
|    1 | SIMPLE      | scan  | ALL  | NULL          | NULL | NULL    | NULL | 13460011 |       |
+------+-------------+-------+------+---------------+------+---------+------+----------+-------+

Убедитесь)

[Иван Иванов]

Хотя, возможно, не стоит на это надеяться, запрос относительно быстро выполнился

[Иван Иванов]

Антон Антон, MariaDB [yii2advanced]> select * from scan where url like "%1%" limit 1;
Если быть точнее, то вот этот запрос жрет память. Если что, индекс на url есть

[Иван Иванов]

Антон Антон, Запрос "сожрал" 5 ГБ памяти и занял 36 секунд

[Иван Иванов]

Антон Антон, посмотрите, пожалуйста, этот вопрос, мне кажется он будет корректнее Как ограничить область поиска в mysql?

[Антон Антон]

Максим Фикс,

select * from scan where url like "%1%" limit 1;
Если быть точнее, то вот этот запрос жрет память. Если что, индекс на url есть

в запросах типа like %хх индекс бесполезен.
причина утечки памяти все равно не понятна. В вопросе по ссылке Как ограничить область поиска в mysql? - более-менее понятна (результат подзапроса должен же где-то храниться)

Answer 1

[Vitaly Karasik]

Согласен с Антон Антон - память утекать не должна.

всего на нем 8 ГБ ОЗУ

Сколько занимает MySQL? Что еще бежит?
Пришлите нам вывод команды

top -b -o +%MEM | head -n 15

Comments

[Иван Иванов]

ДО
ПОСЛЕ

[Vitaly Karasik]

спасибо!

Странно...
Даже если запускаете в командной строке падает?
Следующие вопросы :
1) что в /var/log/syslog (messages) после падения
2) в /var/log/mysqld.log (может быть в другом месте)
3) какая конфигурация в /etc/my.cnf

[Иван Иванов]

Vitaly Karasik, Я добавил индекс, предыдущая проблема исчезла. но появилась аналогичная.
Syslog:

Jul  1 09:02:17 vmi319265 systemd-resolved[396]: Server returned error NXDOMAIN, mitigating potential DNS violation DVE-2018-0001, retrying tying transaction with reduced feature level UDP

mysql-error:

2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Using Linux native AIO
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Using SSE crc32 instructions
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Initializing buffer pool, size = 2.0G
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Completed initialization of buffer pool
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Highest supported file format is Barracuda.
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: 128 rollback segment(s) are active.
2020-07-01  9:02:14 140444876401792 [Note] InnoDB: Waiting for purge to start
2020-07-01  9:02:14 140444876401792 [Note] InnoDB:  Percona XtraDB (http://www.percona.com) 5.6.46-86.2 started; log sequence number 73770213$
2020-07-01  9:02:14 140444876401792 [Note] Plugin 'FEEDBACK' is disabled.
2020-07-01  9:02:14 140442079295232 [Note] InnoDB: Dumping buffer pool(s) not yet started
2020-07-01  9:02:14 140444876401792 [Note] Server socket created on IP: '0.0.0.0'.
2020-07-01  9:02:14 140444876401792 [Note] /usr/sbin/mysqld: ready for connections.
Version: '10.1.44-MariaDB-0ubuntu0.18.04.1'  socket: '/var/run/mysqld/mysqld.sock'  port: 3306  Ubuntu 18.04
2020-07-01  9:02:17 140444875769600 [Warning] Host name 'mail.stargate-legacy.net' could not be resolved: Name or service not known
2020-07-01  9:02:17 140444875564800 [Warning] Host name 'mail.stargate-legacy.net' could not be resolved: Name or service not known

Что за конфигурация?

[Vitaly Karasik]

но появилась аналогичная.

какая?

[Иван Иванов]

Vitaly Karasik, запросы долго выполняются

[Vitaly Karasik]

Максим Фикс, я думал, вначале проблема была что апликация падала.
Насчет медленных запросов - запустите 'explain' и проанализируйте.
https://ruhighload.com/explain+%D0%B2+mysql
www.mysql.ru/docs/man/EXPLAIN.html