Почему периодически возникает ошибка «Mysql connect error [localhost]: (2002) No such file or directory (400)»?

Question

[junior_www]

Добрый день! Есть сайт на битриксе. лежит на выделенном сервере.
Статистика загрузки из панели isp manager:

• Свободное место (30%) .
  
• Нагрузка процессора в среднем до 10%,
  
• процент использования оперативной памяти 10%
  

Однако иногда возникает ошибка

Mysql connect error [localhost]: (2002) No such file or directory (400)

И сама же чудным образом пропадает.
Таблицы InnoDB
С чем это может быть связано? Железо на сервере?

Comments

[junior_www]

PS: Ошибок в самой БД при проверке нет

[iljaGolubev]

что в логах мускула?
что показывает df -h?

[Dimonchik]

https://qna.habr.com/q/1213466
вдруг

[junior_www]

iljaGolubev, спасибо
df -h

/dev/md1        468G  330G  115G  75% /                                                                         
	devtmpfs         32G     0   32G   0% /dev                                                                      
	tmpfs            32G     0   32G   0% /dev/shm                                                                  
	tmpfs            32G  769M   31G   3% /run                                                                      
	tmpfs            32G     0   32G   0% /sys/fs/cgroup                                                            
	/dev/md0        488M  220M  243M  48% /boot                                                                     
	/dev/md2        1.8T  426G  1.3T  25% /var/www/some_folder/data/www/some.site.ru/upload                   
	tmpfs           6.3G     0  6.3G   0% /run/user/0

логи mysql

//ошибка произошла здесь
2023-06-19 19:45:01 0 [Note] /usr/sbin/mariadbd (initiated by: unknown): Normal shutdown
2023-06-19 19:45:01 0 [Note] Event Scheduler: Purging the queue. 0 events
2023-06-19 19:45:01 0 [Note] InnoDB: FTS optimize thread exiting.
2023-06-19 19:45:01 0 [Note] InnoDB: Starting shutdown...
2023-06-19 19:45:01 0 [Note] InnoDB: Dumping buffer pool(s) to /var/lib/mysql/ib_buffer_pool
2023-06-19 19:45:01 0 [Note] InnoDB: Buffer pool(s) dump completed at 230619 19:45:01
2023-06-19 19:45:03 0 [Note] InnoDB: Shutdown completed; log sequence number 1971123308115; transaction id 9980138757
2023-06-19 19:45:03 0 [Note] InnoDB: Removed temporary tablespace data file: "ibtmp1"
2023-06-19 19:45:03 0 [Note] /usr/sbin/mariadbd: Shutdown complete

2023-06-19 19:45:04 0 [Note] InnoDB: Using Linux native AIO
2023-06-19 19:45:04 0 [Note] InnoDB: Uses event mutexes
2023-06-19 19:45:04 0 [Note] InnoDB: Compressed tables use zlib 1.2.7
2023-06-19 19:45:04 0 [Note] InnoDB: Number of pools: 1
2023-06-19 19:45:04 0 [Note] InnoDB: Using SSE4.2 crc32 instructions
2023-06-19 19:45:04 0 [Note] InnoDB: Initializing buffer pool, total size = 21474836480, chunk size = 134217728
2023-06-19 19:45:04 0 [Note] InnoDB: Completed initialization of buffer pool
2023-06-19 19:45:04 0 [Note] InnoDB: If the mysqld execution user is authorized, page cleaner thread priority can be changed. See the man page of setpriority().
2023-06-19 19:45:04 0 [Note] InnoDB: 128 rollback segments are active.
2023-06-19 19:45:04 0 [Note] InnoDB: Creating shared tablespace for temporary tables
2023-06-19 19:45:04 0 [Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; Please wait ...
2023-06-19 19:45:04 0 [Note] InnoDB: File './ibtmp1' size is now 12 MB.
2023-06-19 19:45:04 0 [Note] InnoDB: 10.5.5 started; log sequence number 1971123308115; transaction id 9980138755
2023-06-19 19:45:04 0 [Note] InnoDB: Loading buffer pool(s) from /var/lib/mysql/ib_buffer_pool
2023-06-19 19:45:04 0 [Note] Plugin 'FEEDBACK' is disabled.
2023-06-19 19:45:04 0 [Note] Server socket created on IP: '127.0.0.1'.
2023-06-19 19:45:04 0 [Note] Reading of all Master_info entries succeeded
2023-06-19 19:45:04 0 [Note] Added new Master_info '' to hash table
2023-06-19 19:45:04 0 [Note] /usr/sbin/mariadbd: ready for connections.
Version: '10.5.5-MariaDB'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MariaDB Server
2023-06-19 19:46:10 0 [Note] InnoDB: Buffer pool(s) load completed at 230619 19:46:10

[iljaGolubev]

junior_www, лог БД без ошибок - выглядит так, как будто кто-то посылает нормальный сигнал на выключение/перезагрузку.
Ищите в системе (или https://mariadb.com/kb/en/shutdown/).
Трэйс битрикса при `Mysql connect error [localhost]` всегда в случайных/разных местах?

[junior_www]

iljaGolubev, Благодарю

[junior_www]

iljaGolubev, часто встречается эта ошибка, может в этом причина?

2023-06-26 12:00:03 0 [Note] InnoDB: Using Linux native AIO
2023-06-26 12:00:03 0 [Note] InnoDB: Uses event mutexes
2023-06-26 12:00:03 0 [Note] InnoDB: Compressed tables use zlib 1.2.7
2023-06-26 12:00:03 0 [Note] InnoDB: Number of pools: 1
2023-06-26 12:00:03 0 [Note] InnoDB: Using SSE4.2 crc32 instructions
2023-06-26 12:00:03 0 [Note] InnoDB: Initializing buffer pool, total size = 21474836480, chunk size = 134217728
2023-06-26 12:00:04 0 [Note] InnoDB: Completed initialization of buffer pool
2023-06-26 12:00:04 0 [Note] InnoDB: If the mysqld execution user is authorized, page cleaner thread priority can be changed. See the man page of setpriority().
2023-06-26 12:00:04 0 [Note] InnoDB: 128 rollback segments are active.
2023-06-26 12:00:04 0 [Note] InnoDB: Creating shared tablespace for temporary tables
2023-06-26 12:00:04 0 [Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; Please wait ...
2023-06-26 12:00:04 0 [Note] InnoDB: File './ibtmp1' size is now 12 MB.
2023-06-26 12:00:04 0 [Note] InnoDB: 10.5.5 started; log sequence number 2001038708340; transaction id 10154980884
2023-06-26 12:00:04 0 [Note] InnoDB: Loading buffer pool(s) from /var/lib/mysql/ib_buffer_pool
2023-06-26 12:00:04 0 [Note] Plugin 'FEEDBACK' is disabled.
2023-06-26 12:00:04 0 [Note] Server socket created on IP: '127.0.0.1'.
2023-06-26 12:00:04 0 [Note] Reading of all Master_info entries succeeded
2023-06-26 12:00:04 0 [Note] Added new Master_info '' to hash table
2023-06-26 12:00:04 0 [Note] /usr/sbin/mariadbd: ready for connections.
Version: '10.5.5-MariaDB'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MariaDB Server
2023-06-26 12:01:06 0 [Note] InnoDB: Buffer pool(s) load completed at 230626 12:01:06
2023-06-26 12:15:01 0 [Note] /usr/sbin/mariadbd (initiated by: unknown): Normal shutdown
2023-06-26 12:15:01 0 [Note] Event Scheduler: Purging the queue. 0 events
2023-06-26 12:15:01 0 [Note] InnoDB: FTS optimize thread exiting.
2023-06-26 12:15:01 0 [Note] InnoDB: Starting shutdown...
2023-06-26 12:15:01 0 [Note] InnoDB: Dumping buffer pool(s) to /var/lib/mysql/ib_buffer_pool
2023-06-26 12:15:01 0 [Note] InnoDB: Buffer pool(s) dump completed at 230626 12:15:01
2023-06-26 12:15:02 0 [Note] InnoDB: Shutdown completed; log sequence number 2001038970011; transaction id 10154981873
2023-06-26 12:15:02 0 [Note] InnoDB: Removed temporary tablespace data file: "ibtmp1"
2023-06-26 12:15:02 0 [Note] /usr/sbin/mariadbd: Shutdown complete

Ошибка постоянная, в файле mariadb.err вообще вроде только эти строки дублируются
Иногда в такую ошибку добавляются строки

2023-06-26 12:30:01 0 [ERROR] InnoDB: (Duplicate key) writing word node to FTS auxiliary index table.
2023-06-26 12:30:01 0 [ERROR] InnoDB: (Duplicate key) writing word node to FTS auxiliary index table.

Приходится восстанавливать созданием копии

CREATE TABLE [new table] LIKE [old table];
INSERT [new table] SELECT * FROM [old table];
DROP TABLE [old table];
CREATE TABLE [old table] like [new table];
INSERT [old table] SELECT * FROM [new table];
DROP TABLE [new table];

[iljaGolubev]

junior_www,

2023-06-26 12:00:03 0 [Note] InnoDB: Using Linux native AIO

но это ведь не ошибка. [Note] - заметка
Что там до этих строк происходит нужно смотреть.

Без полной инфы по коду и базе можно только догадки городить вокруг кусков логов.
Предположу, что в [old table] есть FULLTEXT, в какой-то момент индекс крашится и сервер бд уходит в рестарт. Поскольку в логах битрикса нет об этом инфы, предположу, что есть ещё процесс (cron?, event sheduler?) который работает с базой:
1. почитать про innodb-fulltext-index.html
2. Проверить таблицы/индексы/fts (я бы начал с проверки FTS_DOC_ID)
3. Искать кто и что этот unknown2023-06-26 12:15:01 0 [Note] /usr/sbin/mariadbd (initiated by: unknown): Normal shutdown

[junior_www]

iljaGolubev, спасибо большое

[iljaGolubev]

junior_www, когда победите - напишите что было, если не сложно.

CREATE TABLE [new table] LIKE [old table];
INSERT [new table] SELECT * FROM [old table];

по сути это ребилд индекс.
а в этой таблице auto_increment ключ? тогда ещё alter sequence нужен

[junior_www]

iljaGolubev, хорошо, напишу