Почему сервер полностью подвисает на несколько секунд?

Question

[ciiccii]

Приветствую!
Только очень опытный сисадмин сможет помочь. )

Имеется железный сервер под управлением Oracle Linux с продакшн-БД на нём без возможности перезагрузки. В процессе подготовки standby server.

У сервера есть один HDD с операционной системой и дистрибутивом Оракла. Сама база данных лежит в SANe.

Время от времени серверу становится очень плохо. В БД появляется > 1000 конкурирующих сессий, IOWAT подскакивает до 100 процентов для абсолютно всех процессов и дисков, причём загрузка процессора не растёт. Через 5-10 секунд всё проходит без вмешательства. Конкурирующие сессии в БД постепенно заканчиваются и сервер некоторое время работает нормально.

Замечено, что чем дольше сервер работает(начинается через 2 недели), тем чаще возникает проблема. Сначала один раз в день. Через пару месяцев каждые 5-10 минут и сервер приходится останавливать.

В норме IOWAIT не больше 2%, загрузка процессора 20-25%.

Как можно локализовать проблему?

Спасибо!

Answer 1

[mnbck]

Из вашего описания не понятно

В БД появляется > 1000 конкурирующих сессий

и следовательно из за этого

серверу становится очень плохо

или наоборот - проблемы с сервером вызывают нарастание очереди сессий?
Нужно определиться с первопричиной и затем уже смотреть, если это сессии то, что в них происходит, почему так много, кто их генерирует. Иначе же искать проблему в железе.

Comments

[ciiccii]

Я сам не DBA, но наши DBA уверяют, что с базой всё ОК. Приходится им верить. Интересно, что в базе данных в топ(по времени выполнения) выходит процесс записи логов(LGWR). После остановки Оракла, проблема не исчезает.

> Иначе же искать проблему в железе.
Бэкэнд-коллеги говорят, что железо в порядке.

Answer 2

[vlarkanov]

Что говорят atop, iotop? Какова нагрузка на проц, память, диски, сеть? Есть ли и насколько используется swap? Есть ли iowait?

Comments

[ciiccii]

В это время всё стоит вообще. Процессор успевает остыть на 30 градусов. Свап не используется.