Как записать в файл данные очень быстро??

Question

[Антон @ Лялин]

Записываю данными файл csv, строк 1.000.000. Для этого использую bufferewriter. Если записывать 1000 строк происходит быстро, если 10.000, то вообще медленно. Как можно ускорить процесс?

Answer 1

[Artem Vereschaka]

В любом случае быстро не получится, так как это IO операция на диске. Многое зависит от самого диска.
Рекомендую попробовать Memory Mapped Files, но нужно знать сколько вы будете писать для того что бы зарезервировать место.

byte[] buffer = new byte[4096];
int numOfLines = 1000000;

FileChannel rwChannel = new RandomAccessFile("textfile.txt", "rw").getChannel();
ByteBuffer wrBuf = rwChannel.map(FileChannel.MapMode.READ_WRITE, 0, buffer.length * numOfLines);
for (int i = 0; i < numOfLines; i++)
{
    wrBuf.put(buffer);
}
rwChannel.close();

Answer 2

[Дмитрий Александров]

Используй FileWriter , если хочется еще быстрее то FileChannel.
Еще сильное замедление дают операции со строковым типом, в таком случае лучше переписать все на массивы чаров.

Comments

[Антон @ Лялин]

Это максимальное, что можно сделать?

[PrAw]

Ну как бы профайлер тебе в руки и искать узкое место. Помогает писать блоками, близкими к размеру кластера

[Дмитрий Александров]

Антон @ Лялин: смотря что в вашем понятии "быстро" и "очень медленно". Обычно в таких случаях надо профилировщиком искать бутылочное горлышко.
Может у вас очень хреновый hdd\ssd или проц не вытягивает.