Станислав Бодро́в

1 Дохлый процессор сервера не вытягивает по нагрузке
2 Никакущий диск или вообще убитый диск, где лежит статика
3 Кривые и косые настройки nginx
4 Подобная беда наблюдается, когда с сервера надо отдавать много мелких картинок раскиданных по тысячам папок с подпапками на файловой системе XFS
5 Кто-то нашёл тяжёлые запросы и дедосит, не сильно, сервер
6 Комбинация вышеприведённого
7 Диск со статикой сетевой и это зло медленно работает

Посоветуйте как бороться с нагрузкой Cpu nginx много статики

1 Настроить и подключить кэширование статики
2 Разбираться с настройками сервера, анализировать входящий трафик, смотреть на аппаратуру

1. Сбилдил образ -> запушил в registry. Например в docker.io
2. Запускаю образ на сервере с нужными переменными окружения на определенном порту
3. ....

Обыкновенный процесс деплоя из области CI/CD. Можно готовый образ сразу отправлять на целевой сервер и там его запускать как душе угодно. Кто-то пишет небольшую политику для Ansible, которая всё делает.

Идея защиты примерно такая: Если сервер отдает ответ 499, то блокировать этот IP на 10-20 секунд.

Перестань жопиться и кроить, раскошелься, найди грамотного специалиста и пару грамотных специалистов. Либо стань под защиту (на отечественных защитников от атак не смотри, горе одно).

Просто в рамках одного keep-alive соединения может затолкать +100500 запросов на брутфорс или DDOS

Ограничь количество запросов с одного адреса в iptables. Там же можно всяких правил накрутить дополнительно для безопасности. И не вваливать лишний функционал, туда где он не нужен.

Можно ли сделать так, чтобы прокси пропускал только на определенные сайты и никуда больше? Можно ли ограничить диапазон IP-адресов, с которых прокси будет принимать входящее соединение?

Настройками iptables

Возможно ли прокси защитить паролем, чтобы пользоваться им мог только я?

nginx password

Суть проблемы: под обычной нагрузкой все летает, даже при большой посещаемости. Но на сайты переодически происходит DDOS атака от конкурентов, как я понимаю с бот-нет сетей контролируемая вручную - как только я нахожу способ заблокировать текущий вариант атаки, они меняют ее на другой.

На сервере настроен fail2ban правила в котором я переодически меняю, чтобы подстроиться под изменяющуюся атаку.

Сейчас сайты находятся на старом сервере с примерно таким же железом, но более старым софтом (Apache FCGI, PHP5, без Nginx):.....

Не надо лепить лыжи из соломы. Становись под защиту. Похлеще чем у тебя атаки сдерживают.

Изначально заметил, что серверы MySQL.... потребляют больше памяти, чем им выделено.

Во время аллокации памяти операционке до задницы, что там написано в конфигурационных файлов приложений, которые она обслуживает.

А сервер базы данных может при этом съесть 2 гигабайта (именно RES, не VIRT памяти)

Во-первых это не так много, если у тебя всего на сервере Physical Memory: 7.7G. Во-вторых, куда должна деваться оставшаяся память, для каких-то иных приложений? В-третьих, что там с разделом подкачки?

При запуске он потребляет 1.4 гигабайта (RES) памяти, если выполнить мягкую перезагрузку (graceful), то после "перерождения" процессов новые начинают потреблять 3 гигабайта (RES) памяти.

Тут возможен тот случай, что операционка не сразу сбрасывает страницы с данными, а думает, что они могут ещё пригодиться - вариант часы с двумя стрелками. Чтобы потом не лезть на диск за данными в случае возникновения ошибки отсутствия страницы в памяти, операционка не сразу сбрасывает недавние данные на диск.

Почему одно и тоже программное обеспечение ведет себя по разному?

Сам над этим вопросом голову ломаю: два одинаковых сервера брата близнеца, одинаковый дистрибутив, но, сука, становятся по разному. Или случай - ставишь драйвер для видеокарты на машину, где два диска с идентичными операционками (один про запас). На один становится как по маслу, на другой раком влезает, потом в итоге гробит всю систему.

grep-ом выбираешь адреса с интересующим UA и в iptables на DROP