Может ли размер memory pool быть меньше размера страницы?

Question

[beduin01]

Как я понимаю для того, чтобы избежать постоянные аллоцирования памяти можно выделить память большим куском это и называется memory pool. Так же вроде бы размер страницы фиксированный -- 4KB. Может ли memory pool быть меньше размера страницы или не кратен ему?

Comments

[Деревянко Александр]

Что конкретно Вы хотите сделать? В чем задача состоит?

[beduin01]

Александр: пока просто понять как память выделяется. Как понимаю пулы используются там где большие куски памяти нужны разово, чтобы по отдельным страницам не выделять.

[Деревянко Александр]

beduin01: Ну, ИМХО - С как-бы стремится давать всегда столько, сколько необходимо и как можно меньше(без излишеств), на то он и С (великий и могучий и самый быстрый). А просто дать побольше, "ШОБ БЫЛО" - это не наш путь :)

[beduin01]

Александр: а если подряд куча аллокаций идет?

[Деревянко Александр]

beduin01: Вид распределения памяти для объектов зависит от выбора типов структур данных и их представления. Они разные и предназначены для разных задач. Если просто порассуждать, то лучше учебник почитать или справочник, где это описано, если что-то конкретное - то вопрос в студию :-) Поэтому я и спросил - какую конкретно задачу надо решать? Это как отвечать на вопрос что лучше? Связный список или статический массив для хранения структур? Или контейнер vector или list говоря словами STL С++. Ответов может быть много - списки не надо жестко фиксировать при компиляции, а стат. массив надо, но массив обеспечит произвольный доступ по индексу, связ. список заставит лопатить все, прежде чем добраться до нужного - это и есть мастерство - думать над задачей категориями структур и алгоритмов, а не чем-то еще(типа кусков памяти). У списков вставка в середину лучше работает, а у vector последовательное добавление и удаление в конец контейнера. Лучше всего для конкретной задачи подобрать правильное представление данных(структуру), а затем алгоритмы их обработки, оптимальные для данной задачи. Это и будет ИМХО правильно.

[beduin01]

Предположим мне нужно выделить память под объект размером 15MB. Мне хочется понять как оно будет происходить на низком уровне. Там По 4KB будут страницы выделяться или что будет происходить?

Вот к примеру массив в 15MB он тоже будет на отдельные страницы разделен или как?

[Деревянко Александр]

beduin01: Ваш вопрос больше по архитектуре ЭВМ и ее реализации, а не по с :)

Answer 1

[Владимир Дубровин]

Все зависит от того, что вы подразумеваете под словом "выделить", выделить от кого кому? Операционная система приложению выделяет память постранично. На уровне приложения для управления памятью как правило организуется динамическая память в виде кучи. Соответственно, память для кучи выделяется постранично, а из кучи - любого размера. Memory pool может быть организован и поверх кучи, например если вы создаете хэш-таблицу, можно взять память постранично от ОС (VirtualAlloc / mmap), а можно - из кучи (new, malloc, HeapAlloc, etc).

P.S. Размер страницы может быть разный, но фиксированный. Сейчас многие системы поддерживают huge page'ы, где одна страница может занимать достаточно большой кусок памяти, например 2MB или 1GB. Но пользоваться этим надо с большой осторожностью, т.к. пейджинация на таких страницах - очень медленная операция.

P.P.S. В качестве альтернативы memory pool можно использовать организацию кучи на bitmap'ах с фиксированными размерами чанков, фактически это примерно то же самое.

Comments

[beduin01]

А пул это просто область в куче?

[Владимир Дубровин]

beduin01: пул это область где угодно. Обычно это когда под много маленьких одинаковых элементов выделяется одна область памяти.

[beduin01]

Владимир Дубровин: А если в wasm страница памяти 64KB то получается что это страница условная т.е. поверх системных страниц? https://webassembly.github.io/spec/exec/runtime.ht...

[Владимир Дубровин]

beduin01: да, но размер системной страницы тоже может отличаться от размеров аппаратной страницы (4К), например, если имеются диски с большим размером блока (RAID-0 из 4х больших дисков даст минимальный размер блока 16KB), система может подогнать размер выделяемого блока памяти под размер блока диска, т.к. иначе механизм отображения файлов на память будет работать неэффективно. Это уже сильно зависит от ОС.