Иван Шумов

Нигде. 90% любой работы это рутина

Ждать. Просто ждать

Ничего не поменялось. Языки подросли, но это все тот же JS на фронте. И любой как бэк. Разве что фреймворков стало больше

Это file/object storage. Там нет папок/директорий)

Вам стоит отложить эту затею лет на 5 - пока вы не станете обладателем соответствующих знаний. Судя по задаче у вас хорошо если есть 5% от необходимого багажа навыков

Кажется, задача для извращенцев. Придумали же Ansible. А хранить конфигурацию управляемых машин в /etc/hosts - дикость

Выбросить и поставить новый

Какое облако? За RDP вы вряд ли платите. Вы платите за трафик и сервер. Чтобы "не платить за RDP" вы должны сервер из облака вынести

API, API и еще раз API. И не забыть про безопасность (токены, все такое)

near-realtime это websockets для веба. И на php сервер делать под это можно, даже либы есть, но большая задница и проблемы

Я сейчас открою тебе одну тайну .... Всем плевать. Это только твое дело

Очередной вопрос в стиле "хочу построить дом - купил молоток и гвозди. как думаете что использовать для постройки сарая и сколько это может стоить"

на ваш вопрос нельзя дать точного или даже приблизительного ответа

На самом деле не очень понятно что у вас происходит но хочется вам сказать несколько фактов:
- событийная система предполагает то что пользователю синхронный запрос отдает только идентификатор задания и сообщение о том что он в процессе обработки
- при окончании обработки либо обратно через вебсокет, либо же через short-pooling/signal-r вы получаете изменение статуса задания
- что касается clickhouse то у них заявлена eventual consistency, поэтому батчи слать имеет смысл только если у вас оптимизация стоимости в облаке