Ночью сервер перестаёт отвечать, в kvm видно Unit systemd-journald.service entered failed state, как найти причину?

Question

[Владимир Мерк]

Приветствую!
Ночью, после 12 часов сервер перестаёт отвечать на запросы, пингом пакеты до него не доходят, к шеллу тоже не подключиться.
Есть kvm, подключаясь через него виден бесконечный вывод таких строк:

Unit systemd-journald.service entered failed state.
systemd-journald.service has no holdoff time, schelduling restart.
Stopping Journal Service...
Starting Journal Service...
Started Journal Service.
systemd-journald.service watchdog timeout (limit 1min)!

Лечится только перезагрузкой через тот же kvm. В гугле ничего внятного не нашёл.
На сервере крутится сайт средней нагруженности (LAMP), несколько докер контейнеров.

В чём может быть проблема? Какие логи посмотреть чтобы разобраться в чём беда?

UPD:
Такой вывод в /var/log/messages чётенько во время сбоя:
/var/log/messages (yadisk)

Вывод syslog с момента сбоя до перезагрузки
/var/log/syslog (yadisk)

ATOP продолжает работать даже во время сбоя

Вывод atop за 10 минут до сбоя

Вывод atop через 1 минуту после сбоя

Вывод atop через 10 минут после сбоя

Comments

[Владимир Мерк]

Да, задания конечно есть, но раньше всё работало и с ними

[sim3x]

Вставьте существенные вещи из messages в текст вопроса - грузить вирусы с ядиска не всем хочется
Вставьте логи из syslog
Что в atop в момент отключения?

[Владимир Мерк]

sim3x, не влезают существенные вещи ни в вопрос, ни в комментарий, 10к ограничение
Добавил syslog в вопрос, но тоже через диск

ATOP продолжает работать даже во время сбоя

Вывод atop за 10 минут до сбоя

Вывод atop через 1 минуту после сбоя

Вывод atop через 10 минут после сбоя

[sim3x]

Владимир Мерк,
Вам не нужно вставлять все - вам нужно выбрать существенные вещи

Что делает node_exporter?

[Владимир Мерк]

sim3x, я понимаю что не всё нужно) Всё равно не лезет.
node_exporter это кусок prometheus, а он в свою очередь является частью redis-server

[sim3x]

Владимир Мерк, 20-30 строк до и после времени Х - влезут

[Владимир Мерк]

sim3x,
/var/log/syslog начало сбоя, там ещё 200 таких строк

/var/log/syslog

Sep 1 00:26:49 /usr/sbin/irqbalance: irq 133 affinity_hint subset empty
Sep 1 00:28:57 kernel: [143516.846447] INFO: task loop1:2683 blocked for more than 120 seconds.
Sep 1 00:28:57 kernel: [143516.846498] Not tainted 3.16.0-4-amd64 #1
Sep 1 00:28:57 kernel: [143516.846536] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Sep 1 00:28:57 kernel: [143516.846603] loop1 D ffff880ffd72eff8 0 2683 2 0x00000000
Sep 1 00:28:57 kernel: [143516.846658] ffff880ffd72eba0 0000000000000046 0000000000012f40 ffff880fc82dbfd8
Sep 1 00:28:57 kernel: [143516.846743] 0000000000012f40 ffff880ffd72eba0 ffff880ffd5b5800 00000000326417be
Sep 1 00:28:57 kernel: [143516.846827] ffff880ffd5b5888 ffff880ffd5b5824 ffff880fc82dbda8 ffff880ffd5b58a0
Sep 1 00:28:57 kernel: [143516.846913] Call Trace:
Sep 1 00:28:57 kernel: [143516.846972] [<ffffffffa01007d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
Sep 1 00:28:57 kernel: [143516.847020] [<ffffffff810a9610>] ? prepare_to_wait_event+0xf0/0xf0
Sep 1 00:28:57 kernel: [143516.847070] [<ffffffffa03307e1>] ? ext4_sync_file+0x2c1/0x350 [ext4]
Sep 1 00:28:57 kernel: [143516.847115] [<ffffffffa04f0260>] ? loop_thread+0x390/0x720 [loop]
Sep 1 00:28:57 kernel: [143516.847170] [<ffffffffa04ef830>] ? __do_lo_send_write+0x110/0x110 [loop]
Sep 1 00:28:57 kernel: [143516.847214] [<ffffffff810a9610>] ? prepare_to_wait_event+0xf0/0xf0
Sep 1 00:28:57 kernel: [143516.847258] [<ffffffffa04efed0>] ? loop_control_ioctl+0x140/0x140 [loop]
Sep 1 00:28:57 kernel: [143516.847304] [<ffffffff8108954d>] ? kthread+0xbd/0xe0
Sep 1 00:28:57 kernel: [143516.847345] [<ffffffff81089490>] ? kthread_create_on_node+0x180/0x180
Sep 1 00:28:57 kernel: [143516.847391] [<ffffffff8151a3d8>] ? ret_from_fork+0x58/0x90
Sep 1 00:28:57 kernel: [143516.847433] [<ffffffff81089490>] ? kthread_create_on_node+0x180/0x180
Sep 1 00:28:57 kernel: [143516.847481] INFO: task jbd2/dm-1-8:3785 blocked for more than 120 seconds.
Sep 1 00:28:57 kernel: [143516.847524] Not tainted 3.16.0-4-amd64 #1
Sep 1 00:28:57 kernel: [143516.847562] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Sep 1 00:28:57 kernel: [143516.847629] jbd2/dm-1-8 D ffff880fbd6a7808 0 3785 2 0x00000000
Sep 1 00:28:57 kernel: [143516.847681] ffff880fbd6a73b0 0000000000000046 0000000000012f40 ffff880fa6a13fd8
Sep 1 00:28:57 kernel: [143516.847766] 0000000000012f40 ffff880fbd6a73b0 ffff88203f2b37f0 ffff88203ffe9db0
Sep 1 00:28:57 kernel: [143516.847851] 0000000000000002 ffffffff8113f030 ffff880fa6a13b40 ffff880fa6a13db0
Sep 1 00:28:57 kernel: [143516.847935] Call Trace:
Sep 1 00:28:57 kernel: [143516.847972] [<ffffffff8113f030>] ? wait_on_page_read+0x60/0x60

/var/log/syslog начало сбоя, и ещё 150 строк после

/var/log/messages

Sep  1 00:28:57 kernel: [143516.846603] loop1           D ffff880ffd72eff8     0  2683      2 0x00000000
Sep  1 00:28:57 kernel: [143516.846658]  ffff880ffd72eba0 0000000000000046 0000000000012f40 ffff880fc82dbfd8
Sep  1 00:28:57 kernel: [143516.846743]  0000000000012f40 ffff880ffd72eba0 ffff880ffd5b5800 00000000326417be
Sep  1 00:28:57 kernel: [143516.846827]  ffff880ffd5b5888 ffff880ffd5b5824 ffff880fc82dbda8 ffff880ffd5b58a0
Sep  1 00:28:57 kernel: [143516.846913] Call Trace:
Sep  1 00:28:57 kernel: [143516.846972]  [<ffffffffa01007d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
Sep  1 00:28:57 kernel: [143516.847020]  [<ffffffff810a9610>] ? prepare_to_wait_event+0xf0/0xf0
Sep  1 00:28:57 kernel: [143516.847070]  [<ffffffffa03307e1>] ? ext4_sync_file+0x2c1/0x350 [ext4]
Sep  1 00:28:57 kernel: [143516.847115]  [<ffffffffa04f0260>] ? loop_thread+0x390/0x720 [loop]
Sep  1 00:28:57 kernel: [143516.847170]  [<ffffffffa04ef830>] ? __do_lo_send_write+0x110/0x110 [loop]
Sep  1 00:28:57 kernel: [143516.847214]  [<ffffffff810a9610>] ? prepare_to_wait_event+0xf0/0xf0
Sep  1 00:28:57 kernel: [143516.847258]  [<ffffffffa04efed0>] ? loop_control_ioctl+0x140/0x140 [loop]
Sep  1 00:28:57 kernel: [143516.847304]  [<ffffffff8108954d>] ? kthread+0xbd/0xe0
Sep  1 00:28:57 kernel: [143516.847345]  [<ffffffff81089490>] ? kthread_create_on_node+0x180/0x180
Sep  1 00:28:57 kernel: [143516.847391]  [<ffffffff8151a3d8>] ? ret_from_fork+0x58/0x90
Sep  1 00:28:57 kernel: [143516.847433]  [<ffffffff81089490>] ? kthread_create_on_node+0x180/0x180
Sep  1 00:28:57 kernel: [143516.847629] jbd2/dm-1-8     D ffff880fbd6a7808     0  3785      2 0x00000000
Sep  1 00:28:57 kernel: [143516.847681]  ffff880fbd6a73b0 0000000000000046 0000000000012f40 ffff880fa6a13fd8
Sep  1 00:28:57 kernel: [143516.847766]  0000000000012f40 ffff880fbd6a73b0 ffff88203f2b37f0 ffff88203ffe9db0
Sep  1 00:28:57 kernel: [143516.847851]  0000000000000002 ffffffff8113f030 ffff880fa6a13b40 ffff880fa6a13db0
Sep  1 00:28:57 kernel: [143516.847935] Call Trace:
Sep  1 00:28:57 kernel: [143516.847972]  [<ffffffff8113f030>] ? wait_on_page_read+0x60/0x60
Sep  1 00:28:57 kernel: [143516.848015]  [<ffffffff81516f59>] ? io_schedule+0x99/0x120
Sep  1 00:28:57 kernel: [143516.848056]  [<ffffffff8113f03a>] ? sleep_on_page+0xa/0x10
Sep  1 00:28:57 kernel: [143516.848097]  [<ffffffff815172dc>] ? __wait_on_bit+0x5c/0x90
Sep  1 00:28:57 kernel: [143516.848138]  [<ffffffff8113ee36>] ? wait_on_page_bit+0xc6/0xd0
Sep  1 00:28:57 kernel: [143516.848180]  [<ffffffff810a9640>] ? autoremove_wake_function+0x30/0x30
Sep  1 00:28:57 kernel: [143516.848226]  [<ffffffff8114c82d>] ? pagevec_lookup_tag+0x1d/0x30
Sep  1 00:28:57 kernel: [143516.848349]  [<ffffffff8114a092>] ? write_cache_pages+0x2a2/0x420
Sep  1 00:28:57 kernel: [143516.848392]  [<ffffffff811496f0>] ? global_dirtyable_memory+0x50/0x50

Answer 1

[Армянское Радио]

Журнал почему-то нахлобучился. А место на диске есть?

Comments

[Владимир Мерк]

Да, места полно и на основном разделе и на всех остальных. Нашёл в /var/log/messages строки такого формата в момент сбоя

Sep 1 00:28:57 kernel: [143516.846603] loop1 D ffff880ffd72eff8 0 2683 2 0x00000000

добавил полный вывод в вопрос. Но яснее не стало, мне это ничего не говорит

[vlarkanov]

А что в кронтабе? Не происходят ли в это время регламентные операции типа резервного копирования.

[Владимир Мерк]

vlarkanov, Да, бэкапы архивируется где-то в это время, но раньше с этим проблем не было.