d'Ivan

понял неправильно, а про друзей вообще не эта база
см. графовые

но редис да, типа эффективнее просто кеша мускуля по скорости доступа

100+ гигабайт это выглядит как созданные на пустом месте проблемы (потому как даже с идеальным провайдером долго такие выкрутасы не по делаешь), небось еще в виде архива одним файлом? А там небось внутри 99% файлов уже переданных ранее.

Правильное решение - не упаковывать файлы в архив а держать максимально распакованными, часто в виде источника (т.е. то откуда у вас данные появляются), а там - rsync (установить на стороне-источнике rsync сервер) сам сравнит файлы (по хешам) сам скопирует нужные, удалит старые и это максимально эффективно.

p.s. в случае, если у вас большие файлы меняются хоть и не значительно но с точки зрения rsync это будет новый файл, то можно хранить две копии файлов на источнике - с последней передачи и текущую, затем воспользоваться diff (есть разные утилиты, исторически diff был только для текстов но теперь универсальный, и существуют специализированные версии binary diff) для формирования патча, который позволит из старой версии и небольшого файла-патча восстановить новый, тогда можно будет передавать этот патч.

--------------
подскажите, что у вас за файлы? что в них? постоянные 100гб выглядят как что то необычное? у вас мини коллайдер стоит?

Ну заходишь в файловый менеджер
Потом другие места, оно монтирует виндовые диски в медиа, идёте диск:/users/(user)/dectop

Зачем елозить по расписанию, есть же inotify.
Подробнее.

Правильно так, как вам удобно.

Мы пользуемся битбакет пайплайнами. Когда тесты не проходят, деплой недоступен. На staging деплой автоматический, а на прод — по клику.

Например par2

Держите ноды приложения в резервном дц.(Ну или поднимайте в облаке резервного дц). Они будут быстро работать с БД. И связь у них будет стабильной.

есть понимание, что приложение работает с базой не оптимально

Да хоть как оно работает.
Как правило в таких приложениях нечего распараллеливать. в результате время запроса к БД это время простоя приложения.
В общем приложение перемещайте вместе с БД.

Вообще, по-хорошему, каждый в команде работает над своим куском функционала, который затем приклеивается к проекту благодаря модульной архитектуре. С хорошим тим-лидом так и будет.

А если тим-лида нет, или он плохой, то будете регулярно резольвить конфликты при слиянии веток + тратить время на обсуждение общего вектора. А-ля "Сань, на 10й строке не трогай, я там поменял, ок?"

Ну если разобраться что мы подразумеваем под Интернетом Вещей - разные датчики, устройства которые объедены через интернет. Обычно подразумевается что у тебя например в каждом доме есть какой-то датчик, или это устройство, и каждый такой датчик например генерирует ежесекундно данные.
Одно устройство может генерировать хоть мегабайт данных в день (иногда и гигабайт в день), и таких устройств может быть хоть миллиард -> это гигантское количество данных которые тебе нужно обрабатывать и на этом предоставлять какой-то сервис.
Это и есть биг дата (объем данных которые никак не обработать мощностями отдельного компьютера).
Как такой объем данных связан с машинным обучением?
Когда ты работаешь с системой, у которой например есть 2-3 параметра, например поступление топлива в котел и температура котла -> ты можешь в ручную запрограммировать модель управления температурой в зависимости от подачи топлива и управлять такой системой. Когда у тебя есть 20 параметров ты можешь набрать собрать несколько ученых и построить сложную модель с формулами из 20 переменных. Но когда у тебя число переменных параметров насчитывает тысячи штук, нет никаких возможностей что-то понять и как-то разобраться.
Тебе очень сложно выявить зависимости и схемы поведения в сетях из миллиарда устройств. Чтоб понять как лучше управлять такими сетями и используется машинное обучение.

Тестовое задание не может быть похоже на полноценную работу.
А если хочется побороться, то вы можете требовать от конторы официального ответа, почему не подходите. Дальше обращаться в трудовую инспекцию, при всем пофигизме многих работадателей к процедуре найма, инспекции опасаются все.

Можно. .Net Core позволяет это.
Выполнение запроса за 5-10ms это достаточно быстро?