xmoonlight

Держать баланс на стороне сохранения энергии.

Вариантов много для чего это полезно.
1. Очередь не зависит от работы сервисов (выход из строя или перезагрузка - не влияют на саму очередь).
2. Масштабирование типа "звезда".
3. Смена приоритетов обработки объектов в очереди любым сервисом, подключенному к управлению этой очереди.
4. Контроль потока: кто, откуда, куда, и т.д.
5. Статистика обработки.
.....

На все данные, приходящие извне, нужно применять фильтрацию регулярными выражениями.
Затем, использовать подготовленные запросы для обращения к БД через запросы.
Как защитить сайты от взлома?

Как вариант у каждого файла вычислить хеш md5

Да, притом, и на клиенте и на сервере.
На сервере - для тех, что уже на сервере.
На клиенте - для загружаемого файла (через JS в браузере перед отправкой), чтобы не грузить уже имеющийся на сервере и сразу отправить только хеш для получения результата: качать или уже такой есть.

Чтобы ускорить процесс - можно вначале собрать дирлист с размерами файлов и объединить одинаковые размеры в кластеры. И уже в них - выявлять: одинаковые там файлы или нет.
Кластеры - можно сохранить и обновлять в БД.
Чтобы быстрее было по размеру искать нужные файлы (не по хешу!).
Вариантов оптимизации - много и зависит от задачи.

C#, Unity, и оба - по оф.документации, и никаких видео кроме тех, что будет в оф.документации!