Как происходит управление перемещением программ в пользовательском пространстве?

Question

[theeighthofseptember]

Короче, я на зачёте и не очень понимаю, что отвечать на вопрос который звучит следующим образом: "Управление перемещением программ в пользовательском пространстве"
Сначала я рассказал, что есть абсолютная и косвенная адресация и про них немного
Затем сказал, что перемещение происходит, например, тогда, когда у нас есть 8 ячеек памяти, три из которых заняты следующим образом:
|0|0|1|1|1|0|0|0|
Нам надо тут разместить программу, которая будет занимать 4 ячейки(тут вопрос откуда информация что программа займет именно 4 ячейки), но она не может поместиться. В таком случае происходит перемещение. (дальше мне задают вопрос как вообще происходит перемещение и я хожу под себя.
И вот у меня не получается найти источник, где было бы хорошо написано про то, как происходит именно перемещение. По сути я бы хотел узнать как вообще перемещение устроено на программном уровне, каким образом перемещается эта программа, весом в три ячейки, как вычисляется необходимый объем для новой программы.

Answer 1

[Saboteur]

Это зависит от ОС и зависит от типа программы.
Программы могут быть разные, исполняемые файлы могут быть разного типа.

В общих словах да, ОС читает сигнатуру, определяет тип исполняемого файла, затем выполняет загрузку согласно этому типу - читает заголовки, загружает нужное и передает управление.
Не обязательно все грузится в память, так как некоторые программы подгружают ресурсы по мере надобности, даже если они прямо в исполняемом файле, а в Линукс можно отобразить файл в память.

Для виндовс, почитай про PE формат - это основной формат исполняемых (.com был в ДОС, там было очень просто но он уже не используется)
https://en.wikipedia.org/wiki/Portable_Executable

Вот еще хорошая статья
https://medium.com/@db2crush/process-of-loading-pr...

Answer 2

[Mercury13]

Программа туда не уместится, если не предусмотрено способа разбить её пополам. Перемещение происходит, если её адрес по умолчанию чем-то не нравится: или занят, или надо утрамбовать адреса плотнее (было важно в эпоху DOS), или…

А пока — три важных ремарки.
1. В пользовательском пространстве у нас 2 гигабайта или больше виртуальной памяти, и она условно «пуста»: в любых адресах этой памяти можно разместить что угодно. Но если мы обратимся к отсутствующей странице, получим аварийный останов — такова уж издержка виртуальности. Сначала надо обратиться к системному менеджеру памяти, и он выдаст рабочий диапазон адресов.
2. Программа перемещается посегментно.
3. Есть два главных способа перемещения программы: адресация от IP и relocations.

Адресация от IP работает, понятное дело, если исходный и целевой адрес в одном сегменте. По какому адресу ни располагай сегмент — адреса от IP менять не надо. В x86, НЯЗ, она работает в одном-единственном случае: короткие переходы (±127 байтов). Ветвления все короткие, а если нужно ветвиться далеко — ответвляется на безусловный переход, который уносит далеко-далеко.

В x64 режим адресации от IP есть во всех обращениях к памяти, переходах и вызовах, но только на ±2Г (точно не в курсе).

Во всех версиях x86 базовый адрес при адресации от IP — это конец текущей команды, не начало.

Relocations — это ремарки: сегмент 1 рассчитан на базовый адрес 12. Если он другой — подкорректируй адреса 34 и 56. Независимо от метода адресации — от IP или абсолютного. Если сегмент загрузился не по штатному адресу — например, 23 — к числам по адресам 34 и 56 прибавляем разницу 11. Скажем, было 78, стало 89.

В архитектурах с сегментной памятью (x86-16) эта самая сегментная память — также метод перемещения программы. Старый добрый COM-файл имел абсолютные адреса, но только от начала текущего сегмента — и представлял собой исключительно машинный код, загружаемый по адресу не то 128, не то 256 (вот не помню). А перемещение его по памяти сводится к установке нужных значений в сегментные регистры SS/CS/DS/ES.
(Да, *.COM не имел вообще никакого формата, это просто куча кода и данных, которая 1:1 грузится в память.)

Comments

[theeighthofseptember]

А как ОС загружает программу с диска в оперативную память?
То есть как поэтапно это происходит?
Ответ "ос находит программу на диске, читает её заголовочные файлы и затем копирует программу в выделенное пространство" не подходит

[Freeman]

машинный код, загружаемый по адресу не то 128, не то 256 (вот не помню)

org 100h — как можно забыть такое? Ай-яй-яй!

Насчет адресации от IP не понял. Вроде описывается позиционно-независимый код (PIC — position independent code), но без самого термина, а он стандартный. Как раз ELF под x64 его вроде позволяет, вопрос только в способности к генерации подобного кода компиляторами, не изучал подробно.

theeighthofseptember, только DOS считывает программу в память целиком (хотя вру, KolibriOS тоже), а ОС типа Windows или Linux отображает исполняемый файл программы на память при помощи соответствующего механизма (mmap), инициализирует сегмент данных и стек, перемещает программу, если надо, используя перемещаемые символы (relocations), затем рекурсивно обрабатывает экспорты и импорты, формируя адресное пространство, после чего передает управление на точку входа. Конкретной статьи не нашел, есть только такое.

На моем закрытом нынче форуме я описывал задачу частичного перемещения и слияния секций файла PE для последующего формирования исполнимого файла MENUET0x для KolibriOS. До реализации в коде пока не дошел, нет времени.

[Mercury13]

theeighthofseptember,
Считывается информация о сегментах.
Выделяется память под сегменты.
Загружаются код и данные в сегменты.
Устанавливаются заголовки программы — например, с какими параметрами командной строки и с какой настройкой окна она была запущена.
Где-то между делом рекурсивно загружает динамические модули, которые статически прикреплены к программе: прогины сегменты уже есть, заголовки тоже, и код, судя по принципу действия бэкдора XZ, уже загружен, а вот адреса уточнены не полностью.
Уточняются адреса: динамическая линковка, relocations, indirect functions…
Всем страницам, входящим в сегменты, присваиваются окончательные свойства.
Устанавливаются регистры. (Чтобы indirect functions работали, это надо сделать раньше.)
Передача управления точке входа.

Freeman,
Адресация от IP — это что-то вроде mov rax, [rip+12345]. Есть такое в x64 специально чтобы код был более компактным (чтобы не нужны были 9 байт на команду) и содержал меньше relocation’ов.

[Mercury13]

UPD. Забыл про ближнюю адресацию — обычно используется в режимах с сегментной адресацией (читай: в стандартном x86), и она означает «сегмент наш, смещение X». Это тоже был аналог адресации от IP.