Как обработка большого файла должна не занимать много памяти?

Question

[Дмитрий Королев]

У меня есть синхронная операция которая в через фор перебирает и обрабатывает по 100 мб. Выглядит это так:
https://pastebin.com/v83kvDRB
Вроде все учел. Но вот беда. с каждым проходом по фору программа все больше нагружается, так же как и когда было написано в потоке чтения фор с потоком записи. покамись пытаюсь отработать быстродействие в синхронной операции, так как отклика приложения не надо.

Answer 1

[Alejandro Esquire]

Ссылку не смотрел, сорри. Ну например текстовые редакторы пишут либо чтобы он пытался сразу весь файл загрузить в память (что черевато попыткой открыть в редакторе многогигабайтный файл), либо по-умному, что он загружает в память только небольшой фрагмент и подгружает по необходимости следующее. Так же и вам наверное нужно....

Comments

[Дмитрий Королев]

я так и сделал, но в чем то ошибка

Answer 2

[Дмитрий Королев]

При загрузке файла за 600 мб стала видна экономия памяти. Я просто не видел, потому что загружал 400.