Vitaly Karasik

Согласен с BorLaze - используйте что-то готовое. Например https://www.liquibase.org/.

посмотрите в /var/log/syslog - может памяти нехватает и система убивает elastic.

Т.е образ контейнера один и тот же но может поменяться только аргумент для запуска.

Насколько знаю, второе требование не получится с масштабированием.

В Kubernetes можно использовать horizontal autoscaling.

Есть много, когда пару лет назад проверял, то наиболее щедрые бесплатные планы были у
blazemeter.com
https://k6.io/

Сам не пробовал, но пишут что так

https://hevodata.com/learn/integrating-elasticsear...

https://medium.com/@rajkumar012786/how-to-setup-mo...

Как уже сказали, похоже на проблему с памятью.
Покажите вывод

free -m

апустить под Ubuntu, какую нибудь виртуальную машину,

Запустить MacOs в виртуалке нельзя, максимум https://hackintosh.com/

Наверно, зависит от вложений - PDF можно парсить и искать по нему, картинки и т.п. - нет.
Посмотрите на https://www.elastic.co/guide/en/elasticsearch/plug....
https://discuss.elastic.co/t/how-to-index-and-stor...

А вручную вы приложение умеете деплоить? Если да, то запишите по шагам как. Например:
1) получить код из repository
2) запустить static code analize
3) security scanner
4) unit tests

И т.д.
Если все прошло удачно - деплоим
1) копируем
2) конфигируем
3) перегружаем
4) проверяем

Когда с этим разберетесь, читаете описания и примеры любой CI/CD и подгоняете под ваш сценарий.

Смотрите логи, пришлите нам конфиг вебсервера, попробуйте обратиться напрямую к jenkins.

Дополнение к правильному ответу Александр Карабанов :
это называется CI/CD и кроме упомянутых есть еще как минимум десяток сервисов и tools.
Но стоит учитывать, что "сделать как Heroku" можно, но непросто.
Если в Heroku все устраивает кроме цены, я бы поискал SaaS альтернативы вместо того чтобы делать самому.

Лучше всего использовать virtual environment, чтобы не зависеть от инсталляции на хосте.

sssd это один из сервисов который может использоваться в авторизации и аутенфикации.
Не уверен что это поможет понять как зашли. Но загляните и если хотите пришлите нам - это вполне текстовой формат.
Что сделали - можно понять по /etc/passwd и т.п.

Если вопрос - как запускать logrotate чаще, чем раз в сутки? - то ответ:
через cron опять же.
Например

*/10 * * * * logrotate /etc/logrotate.conf

каждые десять минут