Как положить в лист миллиард объектов?

Question

[DDwrt100]

Добрый день всем.
Сижу мучаю Java, в академических интересах.
Столкнулся с тем , что при попытке положить миллиард чисел в лист, сталкиваюсь с :

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

Сам код простейший.

public class billion {
    public static void main(String[] args){
        ArrayList<Long> s = new ArrayList<Long>(1000000000);
        for(long  i = 0; i< 1000000000;i++){
            s.add(i);
        }

        s.toString();
    }
}

Подскажите пожалуйста , что необходимо поправить в JVM, чтобы выполнить данный код? Среда выполнения IntelIdea.

Comments

[Дмитрий Шицков]

Попробуйте вместо Long использовать long.

Answer 1

[Алексей Черемисин]

Просто вам нужно минимум 64 гигабайта свободной оперативной памяти (если я все правильно посчитал), а по факту раза в четыре больше, так как храним не примитивы, а объекты. Посему, если владеете такой памятью, то ключи для java -Xms128G -Xmx128G

Answer 2

[acwartz]

задать больший размер кучи выделяемой приложению -Xmx = 16GB например. Тогда точно хватит.

Comments

[DDwrt100]

Это не помогло
Сейчас стоят такие настройки

-Xms1000m
-Xmx20000m
-XX:ReservedCodeCacheSize=1000m
-XX:+UseConcMarkSweepGC
-XX:SoftRefLRUPolicyMSPerMB=100
-ea
-XX:CICompilerCount=2
-Dsun.io.useCanonPrefixCache=false
-Djdk.http.auth.tunneling.disabledSchemes=""
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-Djdk.attach.allowAttachSelf=true
-Dkotlinx.coroutines.debug=off
-Djdk.module.illegalAccess.silent=true

Answer 3

[Василий Банников]

передать ключ -xmg с нужным количеством памяти.
Для миллиарда чисел нужно порядка 8гб памяти, так что выделяйте сразу гигов 16

UPD: Только благодаря Алексею обратил внимание, что используется Long, вместо long.
Тогда памяти будет жраться порядка 170+ гигабайт (если я не просчитался)

Answer 4

[Владимир Коротенко]

Выше правильные ответы. Но зачем вам такой список? Обычно его бьют на подмножества и работают уже с ними. Попробуйте изменить алгоритм так

Comments

[DDwrt100]

Это академический интерес. Смотрю, как java ведет себя в "критическом использовании".

[Василий Банников]

DDwrt100, в реальной жизни такого даже на супер нагруженном сервисе не будет.

[Алексей Черемисин]

DDwrt100, хорошо себя ведет, поверьте. Например нормально переваривает под миллиард объектов при использовании библиотеки MVStore из H2 в дереве R-Tree - https://www.h2database.com/html/mvstore.html
(использую для поиска координат объектов в трехмерном пироге).

[DDwrt100]

Алексей Черемисин, ведет то себя хорошо, но из коробки не работает )
Василий Банников, возможно не будет, но честно я сталкивался с MemoryHeap в других задачах

[Владимир Коротенко]

DDwrt100, Сугубо теоретически да интересно. Но в практике я стараюсь этого избегать. Большие наборы данных используются разве что для словарей, где критична скорость поиска. Там загоняешь id, value в hashmap и быстро ищешь по ним. Но опять же это путь в никуда. У меня допустим 64 гига памяти и бывает наборы вылазят за эти пределы, и тогда что то нужно придумывать

[Vamp]

Василий Банников, в настоящем хайлоаде самые невероятные сценарии как раз срабатывают в первую очередь и если в коде размер коллекции явным образом не ограничен, то обязательно наступит момент, когда коллекция переполнится. Так что эксперимент ТС вполне себе практический и добытые знания пригодятся в будущем.

[Владимир Коротенко]

Vamp, Прогнозы в хайлоаде не привыкли делать? И хотя бы на коленке оценить затраты памяти и возможное расширение?
Это как бы основы архитектуры. Сейчас в общем то память не так много стоит, но все же.

[Vamp]

Владимир Коротенко, конечно, без прогнозов и планирования никакой новый проект не начинается. Однако, всё не предусмотришь и за всем не уследишь. И для более точных прогнозов неплохо бы знать предел возможностей платформы, изучением которого как раз и занимается ТС.

[DDwrt100]

Владимир Коротенко, Я отношусь к этому так. Да в идеальном мире каждый проект сопровождает жутко компетентный архитектор, все планируется , и в исполнении не отходят от расчетов. А еще все работают по 3 часа в неделю ;)
В реальности, если какое то гг может случиться то оно случиться, и лучше понимать граничные случаи.

[Алексей Черемисин]

DDwrt100, А что вы хотите от граничных случаев? для хранения и поиска миллиардов объектов обычно используют не массивы в памяти, а хитро сделанные алгоритмы, стараясь или разбить эти миллиарды на несколько систем, или прихранить их в удобном виде на диски.
И на мой взгляд - просто запросив миллиард лонгов - тест совсем ни о чем! По скорости будет также, как в C/C++, ибо IJT.

[DDwrt100]

Алексей Черемисин, Глобального смысла , да тут нет. Но я теперь знаю, что оно валится примерно на 100 миллионах . Вроде бы бесполезное знание, с другой стороны я теперь это знаю, так же знаю какие ручки крутить , чтобы не рухнуло. Пригодится ли мне когда нибудь это ? думаю да. Так же у меня появился вектор , что из фундаментальной литературы почитать. А так как я имею "опыт" и вопросы, то знания будут не просто абстрактными , а вполне прикладными.

Вроде бы фигня, а столько возможностей ;)

Answer 5

[Олег]

https://habr.com/ru/post/312078/
почитайте это статью. Не надо комп ставить в неудобную позу. Лучше писать алгоритм так, чтобы он исходил из доступных ресурсов.