Что случится с программой (Go, Python, JS, PHP), если потребуется выделить память, а оперативная память в ОС закончилась?

Question

[Артем Кисленко]

Ситуация:
1. Из сети (диска) читается файл чанками
2. Все это складыватся в переменную
3. Файл большой - оперативная память заканчивается
4. Что произойдет с программой (если нет никаких доп. обработок)? Будет выделено место на диске (операционной системой)? А если этого места нет больше нигде?

Comments

[Армянское Радио]

Советую обратить внимание на это.

Особенно если речь идет о локальном диске или о локальной сети.

[Александр]

1) память будет взята из свапа
2) OОM Killer убьет процесс

Answer 1

[Василий Банников]

Сначала swap, а потом out of memory exception

Answer 2

[Zanak]

Ответ на ваш вопрос складывается из ответа на два других:
- В чем суть работы менеджера виртуальной памяти?
- Может ли один процесс запросить у менеджера памяти больше, чем процессор в состоянии адресовать, исходя из его архитектуры?
Ответ на первый вопрос: думаю, обеспечить паралельное исполнение приложений, запущеных ОС. происходит это за счет выгрузки отдельных частей не исполняемых, в данный момент, процессором приложений, чтобы обеспечить потребности активных.
Ответ на второй: думаю не может. выгрузка страниц на диск все равно подразумевает их возврат в память по тому адресу, откуда страница была свапнута. наличие 2 страниц памяти, относящихся к одному физическому адресу и процессу открывает шанс на потребность их одновременной загрузки, что невозможно.
Вместо резюме: реакция ОС на "прожорливость" процесса может различаться. У linux есть OOM killer, который прибивает "зажравшиеся" процессы. Форточки позволяют запрашивать память пока место на диске не заканчивается исключительно потому, что работает, обычно, более одного процесса, и каждый из них может занять до максимально адресуемого, для текущей архитектуры, куска виртуальной памяти.

Answer 3

[antonwx]

Будет задействован swap файл.
Если места больше нет, то будет out of memory exception и программа крашнется.
А вообще огромные файлы полностью класть в оперативную память это плохо.

Comments

[Армянское Радио]

А вообще огромные файлы полностью класть в оперативную память это плохо.

Разработчики ОС и СУБД видимо чего-то не знают и все делают неправильно (если следовать вашему мнению)

[WbICHA]

Фокс Йовович, первое же предложение:

это способ работы с файлами в некоторых операционных системах, при котором всему файлу или некоторой непрерывной его части ставится в соответствие определённый участок памяти

[Армянское Радио]

WbICHA, поясните пожалуйста вашу гениальную мысль

[WbICHA]

Фокс Йовович, хмм... Хз, я только проснулся и сам не врубаюсь что я хотел этим сказать.)))

[batyrmastyr]

Фокс Йовович, «отображение файла в память» # «загрузке файла в память». Файл всё так же лежит на жестком диске и не потребляет физическую память (кроме описания, что при обращении по адресам из указанного диапазона ОС должна работать с вон тем файлом вместо оперативки). Но если оперативки много, то ОС может, если захочет, загрузить файл или его часть в оперативку и ускорить чтение.

[Армянское Радио]

batyrmastyr, Верно и обратное - если память отображена на файл, ОС сможет память освободить, выкинув из нее ненужные куски файла в этот самый файл и не съев место в свопе.

Answer 4

[Ромзес Панагиотис]

Не имеет значения какой язык программирования будет использован. ОС, прежде всего, постарается обслужить аппетиты программы. И если доступной ОЗУ не хватит, полезет в файл/раздел подкачки (swap).
В Линукс программу убьет защитный механизм OOM как только превысит определенный порог нагрузки на ресурсы системы. В Windows - не знаю, возможно просто не выделит критический кусок памяти для приложения.

А если программа не умеет обрабатывать ошибки нехватки памяти, то она просто зависнет или рухнет с посмертным дампом.

1. Из сети (диска) читается файл чанками

Ух, замечательно!

2. Все это складыватся в переменную

Что?! Зачем это понадобилось? Это как если бы в строительстве ставили кирпичный дом на фундамент целиком, а не по частям.

Answer 5

[Hemul GM]

Зачем его в память читать? Почему не читать из сети сразу на диск?

А если твоя программа 32бит, то ты вообще не сможешь задействовать всю ОЗУ, если у тебя её больше 3гб.

Answer 6

[Noble-Bastard]

Не знаю как на других OS-ях, но Windows не выделит скорее всего. Там есть лимит

Answer 7

[12rbah]

Зависит от того сколько требуется, если немного, то в своп запишется, если много (думаю когда объем требуемой памяти превышает своп), то система может крашнуться. Я как-то раз решил проверить это (не советую это делать), создал массив, который мог занять несколько десятков гигов и начал заполнять его в цикле, в итоге система упала с ошибкой (всего в ней было 4гб озу), тестил на 10 винде.

Answer 8

[Артем Кисленко]

В общем всем спасибо.
В swarm-режиме в докере, как оказалось, все падает с кодом 137 - в swap по-умолчанию не выделяется, чтобы выделилось, нужно писать доп. параметры. Но это, конечно, спорный момент - если приложение неукротимо прожорливо, тогда это бессмысленно.

Подробнее здесь:
https://docs.docker.com/config/containers/resource...