Почему MariaDB отжирает все больше и больше памяти?

На всякий случай, тем кто пойдет по этому пути следом - проверяйте, что новая библиотека "подцепилась":

MariaDB [pdns]> SHOW VARIABLES LIKE 'version_malloc_library';
+------------------------+------------------------------------------------------------+
| Variable_name          | Value                                                      |
+------------------------+------------------------------------------------------------+
| version_malloc_library | jemalloc 5.2.1-0-gea6b3e973b477b8061e0076bb257dbd7f3faa756 |
+------------------------+------------------------------------------------------------+
1 row in set (0.001 sec)

Когда я поставил ее обычным способом - прописал в /etc/mysql/mariadb.conf.d/50-mysqld_safe.cnf

[mysqld_safe]
malloc-lib = /usr/lib/x86_64-linux-gnu/libjemalloc.so.2

у меня ничего не поменялось, version_malloc_library было равно "system"по прежнему.

Чтобы заработало, я сделал:
systemctl edit mariadb
и прописал (в /etc/systemd/system/mariadb.service.d/override.conf):

[Service]
Environment="LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2"

Теперь подцепилась. Почему-то директива `malloc-lib` не работает. (Сейчас даже убрал ее, рестартанул, LD_PRELOAD отработал).

Почему MariaDB отжирает все больше и больше памяти?

Все штатные обновления установлены, но сервер: Server version: 10.5.18-MariaDB-0+deb11u1 Debian 11
(ну потому что в debian он такой штатный).

Менеджер памяти никакой не используется (ну, то есть обычный). Спасибо за совет с jemalloc, поставил, убрал ежедневную перезагрузку mysql, поглядим теперь, как будет.

Почему MariaDB отжирает все больше и больше памяти?

Капитан Пронин, прошу прощения за корявость графика, но в моем мониторинге они там на десятом месте по важности, но тем не менее, пила прослеживается четкая :-)
вот график с ns1 который раз в сутки перегружается



есть 20-минутные данные о нем, и еще почасовой лог вида:

Fri Apr  7 08:17:01 UTC 2023
     Active: active (running) since Fri 2023-04-07 07:38:56 UTC; 38min ago
     Memory: 109.4M
...
Fri Apr  7 15:17:01 UTC 2023
     Active: active (running) since Fri 2023-04-07 07:38:56 UTC; 7h ago
     Memory: 156.5M
Fri Apr  7 16:17:01 UTC 2023
     Active: active (running) since Fri 2023-04-07 07:38:56 UTC; 8h ago
     Memory: 162.3M
Fri Apr  7 17:17:01 UTC 2023
     Active: active (running) since Fri 2023-04-07 07:38:56 UTC; 9h ago
     Memory: 167.3M

Почему MariaDB отжирает все больше и больше памяти?

Капитан Пронин, пока что, версия, что дело в архитектуре - наиболее правдоподобная, потому что в остальном причин не вижу - Конфигурация почти стандартная, приложения те же, а память жрать начало после переезда на AWS.

Кстати, рабочая версия, что, может быть, как-то теряется память при чтении из базы, потому что вебсайты не слишком загруженные, а быстрее всего память уходить на DNS сервере. Возможно, он чаще из базы обновляет данные.

Свой мониторинг используем. Вы почему советуете мониторинг - просто, чтобы увидеть, что потребление памяти растет, или ради какой-то еще функции?
Про oomd/earlyoom не знал раньше, спасибо!

Почему MariaDB отжирает все больше и больше памяти?

Капитан Пронин, красивым путем так и не решил, и тупо поставил рестарт mysql в тихое время. "Зато дешево, надежно и практично".
Зато вот на днях на другой машине (Тоже Debian 11 на AWS EC2 aarch64 (может в этом дело? t4g instance)) mysql прибило по OOM. Вот вчера рестартовал, сегодня расклад такой:

# free -h
               total        used        free      shared  buff/cache   available
Mem:           1.8Gi       395Mi       151Mi        29Mi       1.3Gi       1.3Gi
Swap:             0B          0B          0B

# systemctl status mysql
● mariadb.service - MariaDB 10.5.18 database server
     Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
     Active: active (running) since Thu 2023-04-06 09:09:33 CEST; 12h ago
...
     Memory: 242.6M

Машинка - самый типичный wordpress с apache2 и видно, что после рестарта лишней памяти у нее - дохрена (я добил второй гиг когда первый раз давно по OOM упала). Со вторым гигом месяцы дозабивала память мемликами.

В принципе, если хотите посмотреть, могу выложить ее /etc/mysql / там же вроде ничего интересного нет.

Можно ли как-то распознать конец фразы в Asterisk?

Спасибо! Похоже именно на то, что мне нужно :-)

Почему MariaDB отжирает все больше и больше памяти?

Вот

MariaDB [pdns]> reset master;
ERROR 1186 (HY000): Binlog closed, cannot RESET MASTER

у меня бинлоги просто не ведутся, поэтму, наверное, это и не имеет смысла

Почему MariaDB отжирает все больше и больше памяти?

А как это сделать-то? Там же инклуды... .tar.gz выложить где-то или можно как-то объединить его в один конфиг?

Пока нашел вот такой способ:

root@ns1:~# my_print_defaults mysqld
--user=mysql
--pid-file=/run/mysqld/mysqld.pid
--basedir=/usr
--datadir=/var/lib/mysql
--tmpdir=/tmp
--lc-messages-dir=/usr/share/mysql
--lc-messages=en_US
--skip-external-locking
--bind-address=127.0.0.1
--expire_logs_days=10
--character-set-server=utf8mb4
--collation-server=utf8mb4_general_ci
--innodb_buffer_pool_size=64M

Почему MariaDB отжирает все больше и больше памяти?

Капитан Пронин, сейчас стоит версия из стабильного дебиана, обновлений не предлагает. Колхозить не хочется.
Самое интересное, что тот же набор (mariadb/powerdns/powerdns-admin) использовали и раньше и все было хорошо. А вот после переезда на AWS полезла эта проблема.

Вот поставил innodb_buffer_pool_size в 64 мега, при рестарте было 94Mb сейчас уже 220.

Про Empty-queries не знаю, в интернете особой информации не нашел, но забавно с ними вот что:

root@ns1:~# pt-mysql-summary | grep -i empty
Empty_queries                            150000           1            

root@ns1:~# systemctl restart mysql

root@ns1:~# pt-mysql-summary | grep -i empty
Empty_queries                            500000           6           2
root@ns1:~# pt-mysql-summary | grep -i empty
Empty_queries                            350000           3           1
root@ns1:~# pt-mysql-summary | grep -i empty
Empty_queries                            250000           2           1

Это какое-то значение, которое само уменьшается (после рестарта - прямо на глазах, а потом медленнее)

Почему MariaDB отжирает все больше и больше памяти?

2 гига.
Был гиг, должно хватать, но вот из-за этого увеличил, думал, надо больше памяти. Сейчас понимаю, что можно хоть 64G выделить - тоже не хватит (только забиваться дольше будет).

Почему MariaDB отжирает все больше и больше памяти?

Vitsliputsli, поставил 64Мб - если проблемы и будут (вылезет за лимит) - то здесь превышение заметнее будет и раньше возикнет.

@@innodb_buffer_pool_size: 67108864

systemctl пишет, что MariaDB потребляет сейчас Memory: 94.4M

Поглядим, как пойдет.

Почему MariaDB отжирает все больше и больше памяти?

Добавил pt-mysql-summary
https://gist.github.com/yaroslaff/6c934241e74debf2... (ну и вообще добавил данных в вопрос)

из подозрительного вижу там только (при разрешенном innodb_buffer_pool_size в 200M)
Buffer Pool Size | 256.0M

Почему MariaDB отжирает все больше и больше памяти?

Vitsliputsli, добавил в вопрос еще данных. innodb_buffer_pool_size - всего 200метров (далеко не гиг, до которого разрастается).

Почему MariaDB отжирает все больше и больше памяти?

Михаил, добавил в вопрос данные. В конфиге innodb_buffer_pool_size = 200M (но потребляет явно больше этих мегов), а остальное не задавал нигде.

Каким образом узнают код Телеграмма?

Стиллер - то есть, троян, который как-то установили на тел жертвы и который читает СМСки? (еще уточнение - запрашивают SMS, значит, код который приходит в тг прочитать не могут. Сначала приходит код в тг, потом в SMS. Если бы как-то могли украть код из телеги, тогда бы SMS не запрашивали, мне кажется).
На компе в этот телеграм не заходили (только со смартфона).

Какие уязвимости могут тут быть?

zahar22, то есть, вы сохраняете файл с именем, которое захотел пользователь? лучше не надо так. придумывайте сами имя файла на лету (как в формате Maildir делается). хоть по unixtime + pid + random + sequence.

Если очень важно, как файл назывался у юзера - храните где-то табличку транляции (как назвал юзер, с каким именем сохранили вы). Чем более сложный у вас механизм защиты, тем более вероятно что когда-нибудь что-нибудь от него отвалится, а вы и не заметите. Поэтому лучше исходно не допускать рисков, которые вы будете "прикрывать".

Есть ли сайты с бесплатными доменами второго уровня?

Нет. Есть еще dot.tk, но это то же самое.
Попробуйте домен вроде asdf23412341234asdfasdfqr.tk - должен быть свободен.

Freenom вообще гнусен, но единственный, кто дает бесплатные домены. Если для чего-то серьезного - лучше все-таки платный. С freenom может быть еще две гнусности:
1. Домен свободен, вы его оформляете, покупаете (бесплатно), и вам пишется, что не могут оформить один элемент из шоппинг-карт (этот ваш домен не купился). Решает через VPN с подбором правильной страны-сервера.
2. Если просрочите продление домена (а это очень легко, не надейтесь на напоминалку от freenom), домен перестанет работать, но и снова бесплатно оформить на себя вы его тоже уже не сможете. В этот период он будет доступен только за деньги. Потом, наверное, сможете.

Подумайте, зачем вам домен? Всякие .tk и прочие не котируются, плохо индексируются. Часто даже бесплатный домен третьего уровня от netlify или cloudflare (.pages.dev) могут быть лучше. Если домен второго уровня нужен вам для солидности (а третьего уровня - не очень солидно), то .tk - это вообще стрём.

Фишинговая "платежная система" или нет? Как узнать, проверить?

Не, это тоже очень плохой вариант.
1. Зная IP вашего VPN очень легко отследить, кто к нему коннектится из РФ (сюрприз, это только вы, и может еще пара ваших друзей). Мы же исходим из того, что защищаемся то "майора", который контролирует трафик провайдеров.
2. Зная IP вашего VPN можно "пробить" его на разных подконтрольных сайтах. Госуслуги, озон, вайлдберрис, яндекс-доставка, такси, хабр и сопоставить с вашей личностью.

Общий VPN хорошо миксит тысячу юзеров на один IP, а собственный на VPSке - нет.

Фишинговая "платежная система" или нет? Как узнать, проверить?

rPman, введите промокод YEAR22 (он в рекламе был, ну и на страничке в сорцах его найти можно). Там годовой тариф, самый дорогой, до 1 рубля упадет в цене.

Не знаю, зачем мне нужен еще один VPN, и так есть, но из интереса уже хочется завести вирт. карту, оплатить с нее рубль, и посмотреть, что будет. (если и обманут, то каким образом). Но и не хочется... :-)

Фишинговая "платежная система" или нет? Как узнать, проверить?

Хм... тоже странно.
Может они по какой-то причине не признают его (но он "свой")? (вдруг это "товарищ майор" спрашивает). Я знаю, что некоторые зарубежные платежные системы вышли из России но тщательно не афишируют свое происхождение.

Странно, зачем cardspayhub'у примазываться к почти нонейм еноту, а не, скажем, к сберу, газпромбанку, тинькову или другим более надежным брендам? (sberpayhub .com свободен).

Ну и получается, надежность enot'а тоже основана просто на личном опыте (доверился, не обманули). Не на какой-то предварительной проверке.

Мы тут на хабре, выходит, тоже не можем сами понять, где реальная платежная система, а где нет....