rPman

bcache отлично работает, как в режиме кеша только для чтения так и как дополнительный буфер для записей (writeback)
и это лучший способ способ сожрать ресурс записи ssd диска

у меня так на очень дешевых комплектующих работала следующая схема linux сервер, специально выделенные медленный hdd + 250гб ssd диск в качестве кеша, полученный ускоренный раздел публикуется с помощью iscsi по гигабитной сети, его монтирует windows машина и на этом диске размещены игрушки (ark будь он неладен 400гб с еженедельными обновлениями по 50-100гб), чуть больше чем за год сожрал 250тб ресурса. Итоговая скорость запуска была примерно в 3 раза быстрее чем если hdd подключить напрямую к windows машине.

своп настриивается как точка монтирования в /etc/fstab, если тебе автоматически после перезагрузки
UUID=xxx-xxx-xx-xxx none swap sw 0 0
UUID=xxx тут способ указания раздела (или всего диска) для свопа, можно указать устройство /dev/sdXY или сразу файл (автоматически подключит loop девайс и будет туда свопаться)

если тебе однократно, то подключать командой
swapon устройство

Однократно своп нужно проинициализировать командой
mkswap устройство

p.s. на сколько я знаю, уже давно, своп может размещаться в т.ч. по сети (nfs например или nbd), точно помню был пример размещения свопа в vram gpu, есть где то поддержка сжатия данных на лету и тьма чего то еще

К сожалению, весь современный софт заточен на nvidia решения. С некоторыми оговорками на amd и скорее всего не на долго (т.е. скоро окончательно будет все), например stable diffusion еще запускают на топовых amd, с заметной деградацией скорости (т.е. карта в играх будет типа быстрее nvidia но в нейронках будет хуже, это вопрос исключительно софта и скорее всего политики).

Самое главное для нейронок - это vram видеокарты, все остальное - частоты, количество процессоров, шина и прочее конечно важно, но обычно идет в комплекте если выбирать решения с большой памятью.

Если денег мало, то имеет смысл обратить взор на медленную (еще вопрос на сколько, в играх это ~30%..50% от топовых но для нейронок возможно не так плохо) но с большим объемом vram - nvidia geforce rtx 3060 16gb с ценами порядка 35т.р. когда как остальные решения стартуют от 50т.р. а заканчиваются на 300т.р. (я про потребительские решения, серверные найти вообще нереал и цены там зашкаливают, соотношение цена/производительность у серверных хуже всего)

Если денег меньше, то бери любую nvidia с максимумом vram, построив табличку цена, fps и выбирая наибольшее соотношение цена/fps или индекс производительности (бери один и тот же тест).

ВАЖНЫЙ момент! почти все алгоритмы нейронных сетей могут быть распаралелены на несколько gpu (либо легко модифицированы для этого), я имею в виду когда размер самой нейросети такой огромный либо нейросеть маленькая но обучающая выборка большая, отсюда интересный вариант, если нужно больше чем 16гб vram, может оказаться дешевле набить материнку несколькими 3060 (она вообще самая дешевая за гигабайт), и за счет возможности загружать данные в несколько gpu одновременно, это даст интересный буст на решения, которые упираются в pci-e (не говоря о цене, nvidia 24гб начинаются по ценам от 110т.р., а 2x3060 обойдутся в 70т.р.)

p.s. вопросы энергопотребления даже не рассматриваю, пока у тебя нет кластера на сотни gpu (или если тебе не повезло жить в какой-нибудь 'жопе мира', где энергия стоит порядка 1евро за киловат час)

upd. минимальное требование по vram к stable diffusion - 3gb (минимальный размер картинок меньше 512x512, batch меньше 4, опции --xformers и --lowvram и невозможность генерации видео), рекомендуется 6Gb

для генерации видео на stable diffusion нужно минимум 8gb лучше больше

минимальный размер адекватной языковой модели 7Gb mistral может заработать на 8Gb с 8бит квантизацией, так же я слышал что llama13b тоже работает на 8gb видеокартах

чтобы дообучать, потребуется больше vram, так как квантизация недоступна (можно использовать peft с 8-битной, но это только тюнинг качества для конкретного промпта)

Нужно решение, умеющее работать с базой данных в ресурсах exe-файла (я таких не знаю) или в оперативной памяти, в этом случае при запуске программы базу можно загрузить в память из ресурсов (где она хранится в виде просто набора байт без типа)

sqlite умеет открывать базу данных в оперативной памяти, соответственно храни дамп своей базы в ресурсах, вот пример на c++ как импортировать и экспортировать memory базу данных, правда он с файлом, но как я понимаю проблем тут не будет работать с техническими потоками на оперативной памяти с помощью Application.GetResourceStream

Профилировать вам нужно ваш код, и не только работу с базой данных, там как раз нагрузка была бы.
Самое простое, чего может оказаться достаточно чтобы локализовать проблему:
* если используется cgi способ запуска php (обычно если это fastcgi/phpfpm) то все процессы php будут видны как обычные процессы (top/atop) а подробности по каждому можно посмотреть в /proc/$pid/{environ и cmdline} будет видно какой php работает и какой там запрос
* если используется apache module, то ставишь apachetop

Ну и в общем случае, в код (очень часто есть единая точка входа, какой-нибудь index.php) или если место проблемы локализовано но нужно дальше изучать, в код на php вставляешь вывод отладочной информации с временными метками и ковыряешь логи

Конечно используй php profiler, любой на выбор, считай это продвинутый логер всего что запускается и как долго работает и сколько памяти потребляет.

p.s. с высокой вероятностью где то в коде стоит загрузка чего-либо по сети (не обязательно http), с игнорированием ошибок, ресурс стал не доступен, вот и виснет все.

Тебе нужен критерий, как отличать старые записи (дубликаты или не изменившиеся, тебе виднее что там) от новых.

Если удобного идентификатора нет, то обычно самое простое, - формировать из сравниваемых данных строку одинаковым способом, и получать из нее хеш сумму (md5 более чем подходит, если данных не 16-значное количество, т.е. не нужно заботиться о коллизиях), его и используй как идентификатор и храни где-то списком как предыдущие значения и сравнивай с ново загруженной, прямо во время анализа. Записи, хеш сумма которых, не была найдена в записях, помещай в базу данных (ну или обновляй значения, если речь идет о модификации а не добавлении новых).