Как определить проблему медленного открытия сайта?

Question

[Diversia]

Есть посещаемый сайт, порядка 1,5-2 млн просмотра страниц в сутки. С трафиком 0,3-0,5 ТБ/сут. Последнее время без видимых причин любые страницы сайта периодически (не постоянно) стали открываться медленно (с таймаутом). То быстро, менее чем за 1 сек., то по 5-30 сек. В час может быть около 1-20 случаем или не быть вообще. Какой-то закономерности нет. От кол-ва посетителей или времени суток (утром мало, к вечеру наплыв - пиковая нагрузка) также не зависит. См. скрины, ссылка в конце.

В момент проблемы пинг без потерь SSH соединение не отваливается.

Сайт на Битрикс. Есть большие таблицы. При разработке кода учитывалось, что сайт будет с высокой посещаемостью и большим кол-вом контента. Проставлены индексы в БД, код и запросы оптимизированы. Отладка не показывает тяжелых запросов или генераций страниц. Размещен на VPS со спец тарифом для Битрикс. ПО на сервере оптимизировано. 8 CPU, 16 RAM, NVMe.

ВАЖНО
Проблема появилась резко, не по нарастанию. До появления проблемы страницы очень быстро открывались при той же посещаемости. Изменений в код не вносилось. Контент в разы не увеличивался. Полагаю, что проблема не в коде.

Техподдержка говорит шаблонами. Сначала, что большое кол-во соединений (оно так и должно быть при высокой посещаемости?!), затем, когда не смогли выявить проблему - обращайтесь к разработчикам, я им и являюсь.

Зачем-то пробовал увеличить ресурсы ВМ в 2 раза. Подключал скоростной канал до 500мб/с. После этого по словам хостера была ДДоС атака, перешли на защищенный канал со сменой IP.

Скрины по ссылки ниже. По запросу выложу необходимые данные.
https://disk.yandex.ru/d/D1E8-RismSYXMw

update 13/04/2022: добавлены новые скрины

Comments

[Павел]

VPS есть VPS, как вариант хостер набил сервер клиентами и для всех в пике не хватает ресурсов.
При таких нагрузках берите выделенный сервер, в котором все мощности будут принадлежать только вам....

[Diversia]

Павел, тоже больше склоняюсь к этому мнению. Но не имеют большого опыта в администрировании серверов, как и ВМ. Да, могу что-то сделать по инструкции, не более того. Также опасаюсь потери производительности при переходе с ВМ на выделенный сервер. Не знаю, какое железо выбрать. Также вопрос по SSD и NVme, стоит ли переплачивать.

[Александр]

Есть (была) схожая проблема. Так же сайт с посещением 500тыс/сутки, резко прыгала нагрузка время ответа вырастало до 3-15 секунд. Выяснилось что шли атаки с разных мест, их просто отслеживали и банили. Тут вам помогу админы сервера, а не тех поддержка.

[tgarl]

Начиная с конца февраля и до сих пор идут постоянные ddos-атаки. Не обязательно на вас, раз у вас VPS. Переход на свой сервер требует наличия хорошего специалиста. Вот у нас нет такого и мы наоборт уже думаем на виртуалку уйти. Сайт в начале марта вообще не был доступен по пол дня. Попросили хостера оценить его специалистами, так было сказано что нужно просто докупить памяти, а то что каналы забиты ставьте софт для выяснения проблемы, но у нас centos 6 и большинство репозиториев уже не поддерживается(обновить ОС не могут, только путем берем новый сервер и на него переносим все сайты). И только спустя почти 2 недели поисков на форумах выяснилось что правда настройки у нас не корректные, mysql настроен сильно криво , защит от ddos 0, хотя нужно было всего лишь несколько параметров добавить в nginx. Так что скорее всего вам проще будет дергать хостера, так как за такое поведение он ответственен, а вот будет свой сервер, то он со спокойной душой будет в случае чего посылать

[Евгений Вольф]

Проблема данной проблемы (простите за тавтологию) в том, что пока не ясен её источник. Изучил скриншоты и на их основании, если я всё верно понял, можно заключить, что проблема НЕ связана с нехваткой памяти и/или процессорного времени. Соответственно, нужно найти источник этой самой проблемы. Давайте начнем с проверки нагрузки на диск и на сеть. На одном из скриншотов я видел у Вас запущенный top/htop, для мониторинга дисковой системы есть iotop - пришлите скрины (или результаты) нагрузки на диски в момент "проблемы". Для мониторинга сетевой активность есть масса утилит, но думаю нам хватит простейшей типа nload, в момент проблемы неплохо бы так же нагрузку на сеть померить.

P.S. Возможно, проблема связана с реструктуризацией сети (Интернет) в виду последних политических событий в мире. Если Ваш сервер (или VPS или другой узел сети) находится на территории континента Евразия - нельзя исключать того, что это просто сбои сети или какие-то переключения у выше стоящих провайдеров. Это безусловно моё предположение и не более того, но некоторое время назад интернет был завален новостями на тему того, что вплоть до магистральных провайдеров кто-то уходит, кто-то приходит, изменяется карта сети и т.д. Или может быть это где-то на уровне Вашего ДЦ. Если Вам не жалко денег (бюджет позволяет), арендуйте на том же самом сервере ещё 1 VPS, самый-самый дешевый и попробуйте локально запустить на него трафик, с помощью любой утилиты для генерации трафика, можно даже банально очень большой файл туда загружать и логировать скорость выгрузки, если пики по провалам скорости совпадут с основным сервером - это будет означать, что проблема не в сервере, а в сети Вашего хостера или его провайдера.

[Diversia]

Евгений Вольф, спасибо за советы! Некоторое время все стало хорошо, думал проблема пропала. Потом опять началось. Как соберу данные, сообщу.

[Diversia]

tgarl, можете поделиться, что добавили в nginx?

[tgarl]

вот статья , а у нас были пустые <путь к директории Nginx>/vhosts-resources/<имя домена>:
после того как их заполнили и перезапустили nginx заработал модуль ngx_http_limit_req_module.
Возможно мы неправильно его активировали и ошибки вылезут ещё в будущем, но сначала я заблокировал всех в нашей корпоративной сети таким образом, а потом все же стало полегче и сайт перестал быть недоступным по несколько часов.

[Diversia]

Евгений Вольф, здравствуйте. Добавил серию скринов с iotop и nload: до проблемы и в момент проблемы (две новые папки по той же ссылке): https://disk.yandex.ru/d/D1E8-RismSYXMw

[Евгений Вольф]

Diversia, если я всё верно понял из представленных скриншотов "Случай 2" - это тот самый момент, когда падают показатели "доступности" сайта (назовём это так). Из скриншотов я заметил следующие моменты:
1. Нагрузка на сеть, диск, процессор, память - не имеет каких-то разительных отличий между "нормальным" режимом работы и в момент когда "всё плохо"
2. В момент "всё плохо" - исчезает преимущественно мобильная аудитория сайта, причём исчезает она практически на 100%...

*возможно я что-то не верно понял, если так - поправьте меня пожалуйста. Но, если я верно оценил ситуацию, возможно (всё далее сказанное - исключительно мои доводы и предположения), проблема кроется в мобильных браузерах. С чем именно она связана, к сожалению пока не могу точно сказать, нужно подумать. Возможно, опять таки это связано с реструктуризацией сети, в свете последних мировых событий. У меня к сожалению нет подробностей, но структура сети (в т.ч. на уровне магистральных провайдеров, если верить новостям) претерпевает некоторые изменения. Думаю, проблема находится где-то за пределами Вашего сервера, т.к. значительных расхождений в показателях потребляемых ресурсов я не заметил, а трафик падает до ~10%.

Что бы лично я сделал в таком случае:
1. В момент "просадки" попробовал бы открыть сайт самостоятельно, с мобильного телефона. Может быть появиться какое-то представление о происходящем, какая-то доп. информация. Можно дополнительно в этот момент померить скорость интернета на мобильном и пинг до сайта проверить (опять же, с мобильного).
2. Возможно стоит попробовать поднять зеркало сайта и настроить балансировщик, который будет распределять пользователей по их гео-локации
3. Можно попробовать перенести сайт на другой сервер (к другому хостеру)

Ещё раз повторюсь - всё выше сказанное, - это "мысли вслух", точную причину происходящего я к сожалению пока назвать не могу, каких-то явных причин (проблем) пока не вижу. Единственное, в чём я уверен наверняка - эта проблема находится где-то за пределами Вашего сервера, вероятно, где-то на уровне интернет-провайдера, возможно на уровне магистрального провайдера или просто вышестоящего провайдера относительно ДЦ в котором Ваш сервер стоит. Нужно подумать, возможно позже я смогу сказать что-то более полезное.

[Diversia]

Евгений Вольф, спасибо за ответ! Скорее мобильный трафик это совпадение. Сайт также не открывается с мобильного и ПК. Сайт адаптивный. Специальной отдельной версии нет.
На днях писал хостеру, отправлял эти скрины. Пишут, что логах сервера проблемы нет, как и у них на площадке. Смотрите сайт, обращайтесь к разработчику. Как я понимаю, это очередная отписка.

[Евгений Вольф]

Diversia, думаю да, это именно "отписка". Скорее всего, у них, так же как и у нас нет каких-то "внятных" идей на тему происходящего, и вполне вероятно, что по логам проблем действительно нет. Но в чём именно проблема, судя по всему они так же не знают. Моя версия заключается в том, что проблема связана где-то с выше стоящим провайдеров интернета/сети, возможно она связана с реструктуризацией сети - это объяснило бы временный характер "просадок". Но, это всё ещё мои рассуждения, более точного ответа я к сожалению пока дать не могу.

Answer 1

[Diversia]

Долга бился с проблемой. В итоге выяснилось, что проблема на стороне node, где была размещена VPS. Как только перенести VPS на другую node, проблема исчезла.