Как разобраться с памятью в java?

Question

[Antonzm]

Так , я решил пограться с нейронными сетями, для этого я выбрал библиотеку FANN , сделал маленькую сеть , обучил , вроде всё норм , ну я решил , чё мелочится сделаю сразу сеть , которая будет узнавать Линукса Торвальда))(на картинках 240X320) Сделал всё , что нужно и перешёл к созданию самой сети и её обучению, создаю:

layerList.add(Layer.create(76800, ActivationFunction.FANN_SIGMOID_SYMMETRIC, 0.01f));
        layerList.add(Layer.create(153600, ActivationFunction.FANN_SIGMOID_SYMMETRIC, 0.01f));
        layerList.add(Layer.create(153600, ActivationFunction.FANN_SIGMOID_SYMMETRIC, 0.01f));
        layerList.add(Layer.create(153600, ActivationFunction.FANN_SIGMOID_SYMMETRIC, 0.01f));
        layerList.add(Layer.create(1, ActivationFunction.FANN_SIGMOID_SYMMETRIC, 0.01f));

И как вы думаете , что же произошло ? Правильно ! jvm не хватило памяти.
так вот у меня два вопроса :
1.Как выделить jvm больше оперативной памяти (у меня 16gb на компе)
2.Есть ли способы более экономично с памятью работать?

Comments

[d'Ivan]

Любопытно, какими соображениями руководствовался при подборе данных чисел? Неужели НС скармливается голая матрица пикселей??

[d'Ivan]

Интересно: а как обучал? В выборке хоть фото Билла Гейтса участвовало?

[Antonzm]

Роман Мирр: я сделал программу , которая в файл записывает строки нормализованных фото(она их в чб записывает и нормализует (0 тёмно 1 светло , 0,5 серый (ну короче значение от 0 до 1 (float)))

[Antonzm]

Роман Мирр: где-то 120 фото Линукса и ещё 200 на которых рандомные люди

[d'Ivan]

Antonzm: твоя НС в жизни не будет распознавать людей по фото. Она лишь сможет "запомнить", вместив все "знания" в связи слоёв НС. Твоя НС скорее всего будет переобучена.
В таком случае НС и вовсе не нужна - проще взять хэш от файла изображения и сверять с ним.

[Antonzm]

Роман Мирр: ну так я поэксперемнтировать хотел

Answer 1

[Rou1997]

1.Как выделить jvm больше оперативной памяти (у меня 16gb на компе)

С помощью параметров командной строки xms и xmx, когда вызываете java.exe.

Есть ли способы более экономично с памятью работать?

Радикально: отказаться от Java, я не специалист по анализу данных, но у меня есть человек, который занимается, и он не использует Java, и я не вижу в ней особых преимуществ для нейросетей.

Comments

[d'Ivan]

При чём здесь Java? Там в НС определено входов до хренища, да ещё и несколько слоёв. Просто НС неграмотно составлена и не выполнит своей задачи.

[Rou1997]

Роман Мирр: На Java абсолютно любое приложение занимает больше оперативной памяти, чем должно в идеале, сама JVM тоже "неграмотно составлена".

[Валера Программист]

Rou1997: насмешили про "неграмотно составлена".

[Валера Программист]

Rou1997: вы так ответили что мне ваш ответ стал похож на ситуацию когда едут два человека в автобусе смотрят в окно а там мерс едет и они не имея этой машины начинают высказывать типа что мерс плохой а ауди на много круче!

[Rou1997]

Валера Программист: Не надо мне про "не имея этой машины", я Java использую до уровня байт-кода, или чуть выше (smali), и сравнить мне есть с чем, все языки общего назначения хоть раз видел, и периодически использую многие из них, а у вас широкий ли кругозор?

[Валера Программист]

Rou1997: опишите небольшой пример этого "я Java использую до уровня байт-кода" =)

[Rou1997]

Валера Программист: Реверсная инженерия, ничего доказывать не собираюсь, если вам надо, вы и доказывайте со своей стороны, напишите какое-нибудь приложение на Java, и аналогичное любом другом языке, и чтобы версия Java занимала не больше ОЗУ.

[Валера Программист]

Rou1997: эм... а зачем мне такое делать?
вон я лучше напишу серверное приложение аналогичное как на других я зыках и разверну его на любой системе без всяких заморочек и костылей

[Rou1997]

Валера Программист: Это не ко мне вопрос, зачем вам нужно спорить со мной, если вас все устраивает в Java - работайте с ней на здоровье, вообще-то серверная Java тоже "тяжелая", но вас это может и устраивать, если на сервере много ОЗУ и процессор с высокой тактовой частотой, так сказать, "с запасом".

Answer 2

[Дмитрий Александров]

2.Есть ли способы более экономично с памятью работать?

- Как и советовали отказаться от явы.
- Накинуть еще оперативки
- Оптимизировать код(не говнокодить)
- Кластеры?
- Вынести часть логики в native
- Вынести данные в бд?
- Переписать более оптимизированно используемую либу?