Как можно отправить json file размером до 10gb через post запрос в Spring boot?

Question

[uabylbekov]

У меня есть приложение Spring boot, все что оно делает это сперва берет данные из базы данных и сохраняет в json файле у себя в директории. А потом берет этот файл и отправляет в другой сервис через multipart POST запрос. Вопрос есть какие либо способы отправить файл на другой сервер? Только начинаю усваивать java, не судите строго. Сейчас использую InputStream и OutputStream через new buffer = new byte[2048] Sending files with java post. Возможно вы знаете пути получше

Comments

[mayton2019]

Трудность будет в том что этот файл некуда положить. Для памяти - слишком накладно. Поэтому пиши в /tmp с помощью вот такого API https://docs.oracle.com/en/java/javase/17/docs/api...

В любом случае это будет процесс медленный. Когда полностью скопируется - у тебя будет уже другой back-process который будет разгребать загруженные файлы (видосы?).

Вобщем тут даже ближе не к Spring Boot (web) а к Spring Batch.

[uabylbekov]

Скажем так что у приложения очень много места и 10гб может хранить запросто. Ограничение в том что я не могу использовать spring batch для этого

[mayton2019]

uabylbekov, я думаю что вы очень богатые люди. Что у вас за хостинг что вам не жалко 10гб. Тем более что практика веб приложений говорит что вы должны считать в максимуме. Тоесть будет одновременно N пользователей загружающих 10Гб.

Вот хороший совет внизу по тексту предлагает Сергей. Использовать streamable технологии. Попробуйте.

Answer 1

[Сергей Горностаев]

Выглядит, как задача для реактивности. Читаешь из БД Flux данных, с помощью jackson streaming api на ходу формируешь из него поток байт, представляющий json, который скармливаешь в качестве тела запроса WebClient'у. И не надо ничего на диск сохранять. А ещё лучше вместо http-запроса использовать для этой цели RSocket, если есть возможность доработать принимающую запрос сторону.