Как можно передать ссылку/адрес на относительно большой файл из go в c++?

Question

[calculator212]

В общем такая проблема, что программа на го скачивает в память файл размером в среднем 10-15 мб , и его нужно обработать пока он в памяти и помещать на диск его не нужно, но обработку файла должна производить программа на c++, вопрос в том можно ли как-то передать адрес файла в памяти из одной программы в другую. Я думаю, что можно копать в сторону shared memory, но у нет с этим опыта работы и возможно есть способ проще это сделать.

Comments

[d'Ivan]

А почему нужно производить обработку файла целиком? Ведь можно использовать интерфейс io.Reader. В том числе и с ответа HTTP можно читать.

[calculator212]

Роман Мирр, можете подробнее описать? Я не совсем понял, что вы имеете в виду.

[d'Ivan]

calculator212,
Так экономичнее расходуется память.
https://golang.cafe/blog/golang-reader-example.html
https://medium.com/learning-the-go-programming-lan...

[Евгений Шатунов]

calculator212, зачем тебе передавать куда-то память и распределять ее между процессами, когда ты легко можешь воспользоваться потоками ввода-вывода. Напиши свой C++ код как простой терминальный процесс, который из стандартного ввода читает бинарные данные файла, меняет их и пишет в свой стандартный вывод. А на Go просто и без ожидания закачки всего файла перенаправь вычитку сетевого буфера на ввод запускаемого подпроцесса. С того же подпроцесса будешь и модифицированные данные файла читать.

Answer 1

[Roman K]

Конечно есть. Написать всё на одном языке. Или использовать временный файл. Или организовать IPC любым способом и передавать файл.

Comments

[calculator212]

Написать всё на одном языке

Я же и отметил, что в данном случае используются два языка, был бы один язык не было бы такого вопроса.

Или использовать временный файл. Или организовать IPC любым способом и передавать файл.

так тут вторая проблема, что нужно избежать создания временных файлов и читать из оперативной памяти.

[Roman K]

calculator212, избегать для чего? Ну сделай tmpfs, чтобы они были в оперативной памяти. Я не понимаю вопросов такого рода. Откуда вы берёте такие ограничения? Чтобы что?

[calculator212]

Roman Kitaev,

Откуда вы берёте такие ограничения? Чтобы что?

чтобы не сохранять файл на диске, т.к. это довольно долго и потом его еще раз придется считывать. Поэтому решил рассмотреть вариант с shared memory или похожей технологией.

[calculator212]

Roman Kitaev, вариант написания на одном языке тоже рассматривался, но пока ищу другие варианты

[Roman K]

calculator212, 10мб — дорого? кек. Ну бери IPC и передавай, если думаешь, что через него быстрее

[calculator212]

Roman Kitaev,

10мб — дорого? кек.

будет же не один запрос в секунду.

бери IPC и передавай, если думаешь, что через него быстрее

Так я хочу узнать какой способ лучше подходит для моей ситуации.

[Roman K]

calculator212, выбирай какой нравится https://en.wikipedia.org/wiki/Inter-process_commun...

[Saboteur]

calculator212, Чисто для информации - скорость работы с SSD priexpress можно приравнять к скорости передачи данных в памяти между процессами. А еще не забывать про кеширование самой ОС.

Answer 2

[Дмитрий Шицков]

Не стоит так делать - не шарьте память процессов. Может оторвать ногу.
Обменяйтесь данными, например, через локальный сокет.

Если все же есть острое желание сделать троллейбус из буханки хлеба, вот пример чего-то похожего https://stackoverflow.com/q/28778521

Comments

[calculator212]

Не стоит так делать - не шарьте память процессов. Может оторвать ногу.

Это сложно делать?(у меня тут совсем нет опыта поэтому интересно)

[Roman K]

calculator212, какая разница, насколько сложно это делать, если это не нужно делать? Нет ни одной причины лезть в виртуальную память чужого процесса, если ты не взламываешь что-то

[calculator212]

Roman Kitaev, зачем тогда придумали shared memory?

[Roman K]

calculator212, "зачем" написано даже в википедии. Твой кейс с передачей 10мб файлов IPC не вписывается в оптимизацию через shm самую малость.

[calculator212]

Нет ни одной причины лезть в виртуальную память чужого процесса, если ты не взламываешь что-то

вообще спорное утверждение кмк. И в вики вроде про это не написано.

"зачем" написано даже в википедии. Твой кейс с передачей 10мб файлов IPC не вписывается в оптимизацию через shm самую малость.

Вот вы больше всех написали, а ни одного конкретного ответа не дали, дали одну ссылку, которую я и так просмотрел,

какая разница, насколько сложно это делать, если это не нужно делать?

так почему этого делать не нужно? Вы так и не ответили нормально.

Answer 3

[Александр Ананьев]

Проще SharedMemory только сохранение на диск с последующим чтением файла другим процессом.

Answer 4

[res2001]

А если скачанный файл будет размером в гигабайты. Куда вы денете такой файл в памяти? По моему это не правильная стратегия.

Вы можете использовать shared memory для предоставления доступа к файлу. Но вам еще надо дать знать внешней программе, что память готова для ее обработки. А так же после обработки внешняя программа должна дать знать вашей программе, что она свою работу закончила. Тут уже не обойтись без механизмов IPC: каналы, именованные каналы, unix сокеты, eventfd, обычные сокеты, ...
Но если внешняя программа будет запускаться из вашей программы как дочерний процесс, то можно просто ждать завершения процесса. Но процесс может завершиться аварийно, так что надо анализировать код возврата, который процесс должен обязательно вернуть.

Comments

[calculator212]

А если скачанный файл будет размером в гигабайты. Куда вы денете такой файл в памяти?

тут скорее всего придется ограничить размер файла, т.к. в целом не предполагается, что такие большие файлы будут. Если обрабатывать, то да скорее всего придется писать на диск или оперативной памяти добавлять.