Для знатоков: выделение памяти в Windows VS кэширование?

Question

[Антон Алисов]

Ситуация: компьютер, на борту которого 4 ГБ оперативной памяти, работающий под управлением Windows 7 64-bit в течение нескольких часов занимался сложной задачей (импорт большого массива данных в SQL из кучи мелких файлов (100.000+ файлов)). Постепенно работа компьютера замедлялась все больше и больше и он стал почти совсем неотзывчивым. Монитор ресурсов на вкладке «Память» в разделе «Физическая память» показывает:

Зарезервированное оборудование: 2 МБ

Используется: 3874 МБ

Изменено: 1 МБ

Ожидание: 163 МБ

Свободно: 46 МБ

(пока я это писал, цифры незначительно изменялись то в большую, то в меньшую сторону)


НО! Если просуммировать процессы по значениям в столбце «Завершено (КБ)» или «Рабочий набор (КБ)» (кто-нибудь может пояснить в двух словах, в чем разница между этими значениями?), то по сумме получается, что все процессы потребляют не более 2 ГБ памяти.


Вопрос: кто съел еще почти 2 ГБ памяти и почему она не высвобождается? (в текущий момент никаких трудоемких или требующих памяти задач не выполняется).


PS В диспетчере задач на вкладке «Быстродействие» такая картина по памяти:

Всего: 4094

Кэшировано: 178

Доступно: 211

Свободно: 34


Память ядра:

выгружаемая: 361

невыгружаемая: 66


Система:

дескрипторов: 43735

Потоков: 1587

Процессов: 126

Выделено (МБ): 5979 / 8187 (хотелось бы чтобы кто-то также прокомментировал, что означают эти цифры)


Надеюсь только на экспертов.

Answer 1

[amc]

>>Свободно: 46 МБ
Это количество действительно свободной памяти, т.е. вообще ни подо что не задействованной. В нормальных условиях её и должно быть свободно чуть-чуть, т.к. остальная _доступная_ память должна уходить на кеширование.

>>в чем разница между этими значениями
Ну вообще, если навести мышу на заголовки, то там подсказка выплывает ;)
Завершено — сколько виртуальной памяти выделенно процессу (т.е. например процесс попросил 2Гб аллокейтнуть — будет показывать 2Гб здесь);
Рабочий набор — сколько в реальности сейчас висит в оперативной памяти, т.е. значение может быть меньше чем «Завершено».
Вот хороший пример:


>>Вопрос: кто съел еще почти 2 ГБ памяти и почему она не высвобождается?
Ну куда именно она ушла только по итоговым показателям трудно сказать, для более-менее конкретного гадания нужно хотя скриншоты. Крайне желательно взять Process Monitor (www.sysinternals.com).

>>Всего: 4094
Это объём _оперативной памяти_ (без свопа)
>>Кэшировано: 178
Это объём оперативной памяти выделенной под кеширование файлов
>>Доступно: 211
Это объём оперативки, который система может выделить для процесса (состоит из кеш+свободная)

>>Выделено (МБ): 5979 / 8187
Выделено памяти — 5979 мегабайт из максимально доступных 8187 мегабайт, состоящих из ~4096 Мб оперативной памяти и 4096 Мб файла подкачки.
Что, кстати, косвенно говорит о том, что памяти кто-то очень немало сожрал, аж в 1,5 раза больше чем оперативки.

Comments

[Антон Алисов]

Т.к. никакие приложения не запускались и не закрывались, то я подозреваю, что память сожрал SQL Server, т.к. на нем была основная нагрузка в ходе импорта (импортировалось около 20 ГБ данных из мелких файлов). Но непонятно, почему сейчас, когда уже никакие запросы не выполняются, эта память не освобождается и (что особенно меня беспокоит) не показывается ни в мониторе ресурсов, ни в диспетчере задач. Где же она, вот в чем вопрос?
Скриншот вот такой:

[Антон Алисов]

Вот что мне удалось отследить Process Explorer'ом:



Видно, что у sqrservr.exe Virtual Size имеет неприлично большой размер. Осталось разобраться, что это за Virtual Size такой и как с ним бороться. Складывается впечатление, что SQL Server выгрузил кучу своей памяти в своп.

[Антон Алисов]

Если верить этой дискуссии, то Virtual Size включает в себя объем отображаемых в память файлов. Т.к. импорт данных в SQL происходил через BULK INSERT, у меня есть предположение, что SQL Server использует именно отображение файлов в память, но вот почему он не отдает это пространство?..

[Антон Алисов]

Тут написано, что SQL Server память всегда забирает себе по максимуму, а отдает системе только при необходимости, когда не хватает другим процессам. Что интересно, у меня max server memory было выставлено в 3 ГБ, видимо к Virtual Size данная цифра не относится.

[amc]

К virtual size это действительно не относится, т.к. 3Гб — это память с которой Скуль работает (базы, индексы etc), а маппинг файлов — это уже система занимается.
В общем, ситуация достаточно банальная, была потребность в памяти бОльшей, чем доступная оперативная, система повыкидывала всё что можно в своп, скуль еле-еле отработал (т.к. часть операций была через своп), и потом _освободил_ память (об этом говорит Working Set), но часть данных и кода всё так и остались в свопе, из-за чего тормоза и продолжаются. Видимо планировщик не может сообразить, что пора уже послать нафиг скуль и отдать землю крестьянам память нуждающимся. Банальный перезапуск службы Скуль сервера может дать уже достаточный результат для нормальной работы.

Есть конечно ненулевой шанс утечки памяти, но я в этом сомневаюсь.