Не получается релоцировать local APIC?

Question

[Семён Приходько]

Уже несколько дней безуспешно пытаюсь изменить адрес local APIC с начального 0xFEE00000 на нужный мне 0x105000. После записи в APIC BASE MSR (0x1B) адрес изменяется, но регистры APIC не проецируются (соотв. память обнулена вместо того, чтобы содержать начальные значания, описанные в спецификации). Поэтому не получается активировать прерывания по таймеру. Думал, дело в кешировании (ведь в спецификациях указанно, что странница с проецированными регистрами local APIC должна быть помечена как strong uncachable), выставлял для неё pwt = pcd = 1, но это не помогло. Может, я не учитываю специфику x86-64?

проблемный код.

#include "apic.h"
#include "display.h"
#include "mem_map.h"
#include "interrupt.h"
#include "util.h"

#define APIC_BASE_MSR 0x1B

#define APIC_SPURIOUS_REG 0x0F0
#define APIC_TIMER_REG 0x320
#define APIC_TIMER_INITIAL_REG 0x380
#define APIC_TIMER_CURRENT_REG 0x390
#define APIC_TIMER_DIVIDE_REG 0x3E0

#define APIC_ENABLE (1 << 11)
#define APIC_LOCAL_ENABLE (1 << 8)
#define APIC_TIMER_MASKED (1 << 16)
#define APIC_TIMER_PERIODIC (1 << 17)

#define APIC_TIMER_DIVIDE_BY_1 0b1011
#define APIC_TIMER_DIVIDE_BY_2 0b0000
#define APIC_TIMER_DIVIDE_BY_4 0b0001
#define APIC_TIMER_DIVIDE_BY_8 0b0010
#define APIC_TIMER_DIVIDE_BY_16 0b0011
#define APIC_TIMER_DIVIDE_BY_32 0b1000
#define APIC_TIMER_DIVIDE_BY_64 0b1001
#define APIC_TIMER_DIVIDE_BY_128 0b1010

ISR_DEFINE(spurious, 0) {
  printf("#SPURIOUS\n");
}

ISR_DEFINE(timer, 0) {
  printf("#TIMER\n");
}

static inline void reg_write(uint64_t reg, uint64_t value) {
  printf("reg %X (prev: %X, curr: %X)\n",
         reg, *(uint64_t*)(APIC_BASE_ADDR + reg), value);
  *(uint64_t*)(APIC_BASE_ADDR + reg) = value;
}

void init_apic(void) {
  uint64_t prev = rdmsr(APIC_BASE_MSR);
  wrmsr(APIC_BASE_MSR, APIC_BASE_ADDR | APIC_ENABLE);
  printf("msr %X (prev: %X, curr: %X)\n",
         APIC_BASE_MSR, prev, rdmsr(APIC_BASE_MSR));

  reg_write(0x30, 0);

  set_isr(INT_VECTOR_SPURIOUS, spurious_isr_getter());
  reg_write(APIC_SPURIOUS_REG, APIC_LOCAL_ENABLE | INT_VECTOR_SPURIOUS);

  set_isr(INT_VECTOR_TIMER, timer_isr_getter());
  reg_write(APIC_TIMER_REG, APIC_TIMER_PERIODIC | INT_VECTOR_TIMER);
  reg_write(APIC_TIMER_INITIAL_REG, 12345);
  reg_write(APIC_TIMER_DIVIDE_REG, APIC_TIMER_DIVIDE_BY_4);
}

Полный код лежит здесь. Буду признателен, если укажете, где я ошибаюсь. Спасибо.

Answer 1

[Семён Приходько]

Причина была банальной — загрузчик не активировал A20 gate. Нашёл причину случайно, заметив, что второй мегабайт физической памяти фактически совпадает с первым.

Теперь не знаю, что делать с qemu/kvm, ведь они действительно не поддерживают релокацию локального APIC.

Comments

[Семён Приходько]

Кстати, virtualbox использует ядро qemu, соответственно, тоже не поддерживает релокацию.

[jcmvbkbc]

В итоге у вас заработало на железе или в VMware (или и там и там)?

не знаю, что делать с qemu/kvm, ведь они действительно не поддерживают релокацию локального APIC

Похоже, что эта фича APIC мало кому нужна. В любом случае, пока qemu не поддерживает локальные для процессора адресные пространства, вменяемо пофиксить это не получится.

[Семён Приходько]

На железе не пробовал, но vmware на linux и mac os теперь правильно отрабатывает. Гораздо удобнее x2APIC с управлением через msr-регистры, но, насколько я понял, эта фича есть только на i7-мых. Просто хотелось бы всю память ядра уложить в первые два мегабайта, чтобы не плодить лишние страничные таблицы.

Answer 2

[ntkt]

В интеловских мануалах пишут:

Table 9-1 shows how the APIC registers are mapped into the 4-KByte APIC register
space. Registers are 32 bits, 64 bits, or 256 bits in width; all are aligned on 128-bit
boundaries. All 32-bit registers should be accessed using 128-bit aligned 32-bit loads
or stores.

У Вас в коде я этого не увидел.

Comments

[Семён Приходько]

Как раз вчера я это проверял, заменил 64-битные чтение/запись на 32-битные. К сожалению, это не помогает.

[ntkt]

«128-bit aligned» подразумевает отдельные инструкции, ЕМНИП.

[Семён Приходько]

ммм, мне кажется, здесь имеются в виду простые mov, просто сами адреса регистров выравнены по 16-байт (0h в конце). Там же в спеке, кажется, читал упоминание, что не пользоваться ничем экзотическим типа SSE, иначе результат не определён… Может, я чего-то не знаю…

[ntkt]

Хм, прочитал еще раз, лчше не стало:

Any FP/MMX/SSE access to an APIC register, or any access that touches bytes 4 through 15 of an APIC register may cause undefined behavior and must not be executed.

[ntkt]

А Вы пробовали читать/писать APIC-регистры до реаллоцирования, и какими способами?
Плюс я бы взглянул, какая (64-битная или 32-битная) инструкция по факту в бинарнике или в промежуточных ассемблерных сырцах (в Вашем makefile они не генерируются).

[Семён Приходько]

Не пробовал, поскольку для этого придётся создавать дополнительные таблицы для страничной адресации, я же пока имею лишь необходимый минимум (4 таблицы, первые 2 мегабайта спроецированы на физ. память 1:1).

Специально, чтобы убедиться, я пробовал читать ассемблерными вставками asm(«mov ...»), гарантированно 32-битные инструкции. Кажется, проблема не в этом.

Answer 3

[jcmvbkbc]

Я вижу два странных момента.
Один у вас: доступ к 32-битным регистрам APIC не может выполняться как к 64-битной памяти. Об этом говорит intel developer's manual vol3, p 10.4.1:

All 32-bit registers should be accessed using 128-bit aligned 32-bit loads or stores.

Второй — в qemu. Там (смотрел текущую голову git) нет кода, который бы перемещал регистры при изменении базового адреса APIC.
На чём вы тестируете своё ядро?

Comments

[Семён Приходько]

В процессе работы тестирую на qemu (доступен на всех моих рабочих машинах), периодически на kvm, virtualbox и vmware.

Касательно 32-битности load и store я уже писал, что пробовал и так. Просто в последнем коммите нету этих изменений. А вот касательно перемещения регистров, можно подробнее?

[Семён Приходько]

Поскольку проблема везде воспроизводится, вероятно, она у меня.

[jcmvbkbc]

А вот касательно перемещения регистров, можно подробнее?

В qemu есть код сохраняющий значение записанное в базовый регистр APIC, но нет кода, который бы реально переносил регистры APIC на новое место. В этом легко убедиться глядя на реализации коллбэка set_base. Т.е. на сколько я вижу, в qemu это работать и не должно, ни в tcg ни в kvm.

Answer 4

[Семён Приходько]

перенёс