хранить всё в одном репозитории неверный юзкейс. И даже изначально все эти системы не были задуманы для храниения истории бинарных файлов. Мне больше нравится вторая часть вашего ответа. А вот к примеру для использования git можно поднять gitlab для каждого проекта создавать группу и назначать права. Во первых никто не залезет туда куда не нужно, во-вторых будет систематизировано, и в третьих даже если нужен будет репозиторий отдельного проекта ненужно будет качать весь архив
как раз по ссылке всё описано. и если задача заключается в сохрание записей только на семь дней. Это вообще пофиг как реализовать на сервере. Больше движений на клиенте
в любом случае есть узкое место, пускай даже ссд будет космически быстр. Тем не менее то что на него пишется, не может писаться параллельно.
Подобные операции к тому же следует обезопасивать в плане конкурентного доступа к данным. В случае распараллеливания необходимо создавать блокировки и/или проводить отдельные транзакции. Сомневаюсь что pl/pgSQL обладает такими возможностями.
Как вариант можно написать процедуру на pl/python или java или многом другом, что входит в многообразие поддерживаемых языков. Можно не писать конкретно процедуру на языках pl/*, а запускать сторонний скрипт, вызывающий параллельно запросы. Но в любом случае, для диска не имеет большого смысла все эти телодвижения.
инвертируйте ваше восприятие. это вам нужен легкий инструмент для того чтобы быстрее ехать, быстрее чем ваши конкуренты. Реализовать можно всё практически на любом языке. И ваша гонка в том кто вперёд придумает фичу и кто быстрее это сделает найдя наиболее лёгкий путь к реализации.
Евгений существуют кробочные методы передачи данных между процессами, что позволяет распределять нагрузку, а значит способно решить задачу описанную в топике
