Everything_is_not_so_bad

Лучше не изобретать велосипед и воспользоваться ElasticSearch или Sphinx

запускать каждые 10 секунд - не слишком выгодно.

Напишите себе демона и пусть он все время работает с банальной паузой или сверкой timestamp.
А в кроне просто периодически проверяйте запущен он или нет.

Раз уж 504 ошибка, это значит, что сервер не успевает за отведенное ему время отдать ответ. Это и немудренно, так как ты при получении данных сразу же их обрабатываешь. Для малого количества данных этот подход уместен, но для больших - нет в чем ты уже убедился.

Решение, которые позволит тебе обрабатывать данные практически любых размеров:

1) Скрипт, который принимает данные и обрабатывает их сейчас должен сохранять их(к примеру, в файл) и ставить в очередь на обработку. Теперь твой скрипт не будет улетать в 504, так как ответ будет за считанные миллисекунды.
2) Следующим этапом будет написание скрипта, который будет получать сообщения из очереди на обработку этих данных. Если размер данных, которые ты получаешь исчисляется в сотнях мегабайтов и больше, тогда перед обработкой этих данных тебе необходимо будет их поделить на части (в случае, если хранилищем ты выберешь файлы).
3) После того, как ты получишь данные по частям ты можешь их обрабатывать в фоновом режиме

Я описал общий алгоритм, если не можешь выбрать конкретные технологии - пиши в комментарии, подскажу

UPD.
Для обработки больших файлов можно использовать генераторы - статья

Для запуска фоновых обработчиков можно использовать cron или workers - статья

Из свободных - Duplicati, например. Бекапит только файлы. Умеет WebDav и тысячу других бэкендов.
Из платных - Acronis TI, но он, вроде, только FTP умеет и больше нацелены на продажу своего облака, чем использование пользовательских внешних хранилищ. Но по SMB тоже нормально выгружает на NAS, например. Бекапит как файлы так и разделы (при желании посекторно).

В любой непонятной ситуации первым делом смотри логи.

У тебя дохрена потоков апача в состоянии running, четверь из них в D-state. К ним у тебя база данных. Всё это на двух ядрах и двух гигах оперативы. При этом своп уже забит под завязку, а оперативы свободного 300 метров под страничный кэш.
Если ssh отвечает, то стопорни апач и посмотри логи запросов, кто-то наверняка или брутит или DDoS-ит, или владелец сайта проворонил очередную дыру в движке сайта и вовремя не обновил его. Сайт так и так висит в вечном "Ожидание ответа от сервера", так что много не потеряешь, а ресурсы на разбор проблем освободятся.

apache2 грузит больше всего.

Вот больше похоже что проблем не в дистре или железе, а в том кто перед ним. Выбирать то что нужно лично вам по критериям. До свежести довести можно любой дистр. Жаловаться что что то не работает\работает не так\ глючит последнее дело и наступать оно должно после внимательно чтения тонкостей дистрибутива и конкретно вашего железа.
Ну раз захотели свежести то самый относительно простой это арч\манжара. Для всех ситуаций есть арч вики где расписано все крайне удобно и довольно досконально. Не хочется заморачиваться тогда ставьте абсолютно любой дистрибутив хоть дебиан но ветку берите тестовую\дев или что то типа Tumbleweed как в opensuse.

Конкретно у вас сейчас желание получить "кнопку которая делает хорошо", так не бывает. Тут все достаточно просто, если ноутбук да еще и с дискреткой то автоматом получаете геморой разной степени с дровами для видео, особенно если встройка+дискретка. Опять же если ноутбук то с огромной долей вероятности получить еще один прикол связанный с профилями питания ЦП. Хоткеи вообще отдельная тема. Темы\цвета, вы серьезно?)

Ну и кроме того, если вы считаете себя "начинающим программистом" то ну уж точно должны уметь читать документацию а значит и понимать хотябы минимально "причина-следствие".

Использовать преобразование Фурье для получения спектра записи. Затем проанализировать спектр на наличие гармоник нот.

Это плохой критерий для блокировки. Адреса добропорядочных пользователей ровно так же могут пинговаться - это зависит от настройки оборудования на той стороне.

посмотреть как службы днс работают.
на домашней убунте как то были плавающие проблемы с днс, службы ложили на записи в резолв.конф и стучались в 127.0.0.1:53 где висел бинд который тоже чего неправильно работал.
вырезал все лишнее нафиг, оставил только перенаправление запросов на вншение днс (точнее на роутер локалки).
как конкретно, не вспомню :) гуглил и ковырял.

Суть такова, что есть прайс(ы) ~5млн и его нужно быстро обновлять (раз в 2 часа).

Это НЕ много и совсем НЕ часто.

обновлять или удалять и заново записывать

Ложный выбор, это одна и та же операция. MVCC update = delete + insert
Но что важно - не делать update который вам действительно не нужен. Postgresql не анализирует данные в поиске пустых обновлений, update table set id = id; вам честно удвоит таблицу, хотя ничего на логическом уровне не изменится.

Профилируйте, на что реально тратите время - pg_stat_statements ответит хорошо на этот вопрос со стороны базы. Пальцем в небо - вы работаете в автокоммите и естественно 5млн пишущих операций для любой честной ACID базы - это порядком медленного IO (даже для SSD)

каждый отдельно взятый

Интерпрайс

сам принимает решение, исходя из каких то собственных внутренних причин

Нет. Винда не умеет использовать ext4, так что она его будет просто игнорировать. Линух спокойно смонтирует виндовые разделы.
НО:
Как совершенно верно заметил xtress - винда непременно завалит бут и скорее всего придется грузиться с livecd и бут восстанавливать :)

Если внимательно прочитать, то можно увидеть что вам говорят - в файле /etc/apache2/mods-enabled/dir.conf в сроке 3 ошибка.

Начать стоит с изучения документации, что бы потом не получилось так, что вы хотите одно, а NativeScript это не умеет.

Для начала изучите принципы приложения 12 факторов: https://12factor.net/ru/ Эти рекомендации позволяют создавать приложения которые легко и просто масштабируются, как горизонтально, так и вертикально.
После можете посетить хороший ресурс со статьями на тему высоких нагрузок: https://ruhighload.com/