С какой стороны подойти к хранению тяжеловесных ресурсов в исполняемом файле?

Question

[horror_x]

Возникла необходимость хранить ресурсы большого объёма в единых исполняемых файлах. В частности, используется MSVC в связке с Qt. Стандартные схемы ресурсов Qt и Win API не подходят, поскольку категорически нежелательно загружать ресурсы в память — в идеале их нужно по частям читать из исполняемого файла.


В качестве примера можно привести самораспаковывающиеся архивы, которые создают 7-zip и WinRar. Хотелось бы достичь такого же эффекта на этапе сборки, не прибегая к пост-обработке исполняемых файлов и парсингу их структуры при исполнении.

Answer 1

[horror_x]

Отличное решение предложил amirul:

Я крайне не люблю исполняемые файлы размером в десятки мегабайт, но раз уж Вы уже все равно решили их использовать и единственное решение, которое осталось принять — это, собственно, как, то используйте ресурсы и не морочьте голову. Винда как раз таки и использует меппинг для загрузки исполняемых файлов с деманд-пейджингом страниц в момент доступа.

Т.е. стандартная схема Windows всё-таки подходит для этих целей.

Ещё одно подходящее решение подсказали leotsarev и 1099511627776 — дописывать данные в конец исполняемого файла, а дальше уж способы манипуляции с ними зависят только от воображения.

Answer 2

[Михаил]

Хорошо, а вы пробовали по принципу RARJPEG — склеить ресурсы с исполняемым файлом.
А потом уже в процессе загрузки по меткам в файле находить реурсы и работать с ними

Comments

[Fahrenheit]

Самое главное в этом методе — не выситывать ресурсы «в лоб», а использовать memory mapped files. Тогда в памяти будут только те ресурсы, которые в данный момент актуальны, и оптимальность доступа будет обеспечивать кеш дисковой подсистемы Windows

[horror_x]

Я же в вопросе написал, что такие методы с парсингом нежелательны. Тогда уж лучше использовать структуру PE-файла, создав необходимую секцию. Вопрос только в том, как это сделать на этапе сборки.

[amirul]

Я крайне не люблю исполняемые файлы размером в десятки мегабайт, но раз уж Вы уже все равно решили их использовать и единственное решение, которое осталось принять — это, собственно, как, то используйте ресурсы и не морочьте голову. Винда как раз таки и использует меппинг для загрузки исполняемых файлов с деманд-пейджингом страниц в момент доступа.

[horror_x]

Я крайне не люблю исполняемые файлы размером в десятки мегабайт

Они для удобного распространения и одноразового использования, как и SFX-архивы. На мой взгляд, монолитный исполняемый файл здесь — наилучший выход.

но раз уж Вы уже все равно решили их использовать и единственное решение, которое осталось принять — это, собственно, как, то используйте ресурсы и не морочьте голову. Винда как раз таки и использует меппинг для загрузки исполняемых файлов с деманд-пейджингом страниц в момент доступа.

Спасибо. Видимо, это действительно решение. Я предполагал, что при доступе ресурсов используются подобные механизмы, но не был в этом уверен, особенно из-за функции «LoadResource».

Answer 3

[Леонид Царев]

В качестве примера можно привести самораспаковывающиеся архивы, которые создают 7-zip и WinRar.
Они работают так: в конце PE файла, после всего, в конце дописывается собственно архив. Программа открывает собственный EXE на чтение и ищет заголовок архива, не заморачиваясь на разбор собственно PE-файла.

Comments

[horror_x]

Да, действительно, посмотрел в IDA на SFX-архивы 7z… Такое «склеивание» не может быть чревато какими-нибудь проблемами? Я встречал такую методику, но под Linux-платформы. Можно в последних 4-х байтах указать размер ресурса, и вместо поиска сигнатуры переходить сразу на его начало.

[YourChief]

так называемые «оверлеи» известны ещё со времён доса и ни у кого проблем не вызывали

Answer 4

[Михаил]

Вам хорошо бы найти к примеру как WoW работает со своими ресурсами, там ресурсов ого-го Гигабайт, и он из точно все в памяти не держит.
Как варианты:
— сделать свой архивный формат,
— пихать в БЛОБ-ы какой-то БД и потом читать их оттуда
— сделать zip — с коеф. сжатия 0 чтоб быстрее распаковывался и подгружался в память

Comments

[horror_x]

Вы не поняли суть вопроса. Необходимо хранить ресурсы в исполняемом файле. Речь о форматах хранения данных не шла, для простоты будем считать, что это любой произвольный файл.

[Михаил]

Я то понл суть вопрса, поэтому и пишу, а может бить откажетесь от 1-го цельного файла

[horror_x]

Давайте всё же исходить из начальной постановки задачи. Внешние ресурсы — уже совсем другая тема.