d'Ivan

Возможно, процесс перезапускается (из-за OOM ?). Поэтому данные и затираются.

Распаковать при помощи gunzip, а затем импортировать.

В MySQL 5.7 и выше функция JSON_SET может менять содержимое JSON безо всяких ухищрений.

UPDATE tableName
SET col1 = JSON_SET(колонка, аргументы)
WHERE условие;

Нужно установить программу atop и тогда можно понять какие события предшествовали при повторном сбое.

На всякий случай, показать разметку диска выводом команды

for disk in $( lsblk | grep  disk | awk '{print $1}' ); do sudo fdisk -l /dev/$disk; done

Вставка/удаление невозможны без перезаписи файла CSV целиком.

Судя по описанным симптомам, приложение является виновником и похоже, что СУБД в данном случае подолгу держит соединения открытыми. В результате веб-сервер вынужден держать сообщение с клиентом пока не получит ответ от приложения. В СУБД возможно отсутствуют необходимые индексы в таблицах, из-за чего она выполняет больше работы.
Без мониторинга приложения не будет полной картины. Первым делом нужно интегрировать NewRelic или аналог. Тогда будет ясно какие запросы дорогие на наглядных графиках и какие части нужно оптимизировать или вовсе переделывать.
Только тогда принимать решение о разнесении СУБД и веб-сервера с веб-приложением.

В режиме разработки локально или прямо в продакшн?
Чтобы в продакшн изменения вступили в силу, необходимо произвести перезагрузку веб-сервера.
По-хорошему, нельзя править файлы прямо в продакшн. Нужно исправить локально и развернуть приложение на сервер.
Рекомендую почитать о базовых принципах разработки на RoR, чтобы потом случайно не выстрелить себе в ногу.

Можно где-то в middleware:
https://github.com/golang/go/wiki/RateLimiting
https://github.com/throttled/throttled

С такими запросами лучше на заказ.

1-й сервис периодически сканирует результаты позиций сайтов. При получении каждого отдельного результата сайта или определенного их количества (скажем, 10), отправляется задача в очередь "ПозицииСайтов".
2-й сервис-воркер в необходимом количестве экземпляров получает задачи по сканированию из "ПозицииСайтов". При этом фиксируется в БД начало операции сканирования сайта и по окончанию проверки помечается что задача выполнена.

Если существует единственный набор правил, при котором можно однозначно построить векторное изображение, то преобразовать в SVG возможно.
По аналогии с XML, при помощи правил XSLT с единственного источника данных можно преобразовать в HTML/PDF.

Для начала можно обновить до новой версии 10.4
Версия 5.5 уже давно выпущена была.
Если хочется оптимизировать, то это надо делать на запросах, при помощи проверки Slow Queries, EXPLAIN и мониторинга.

nginx Rate Limiting
https://docs.nginx.com/nginx/admin-guide/security-...

BigQuery или альтернативы

OWASP Web Application Security Testing Checklist
А общепринятые практики нужно искать по каждому пункту отдельно.