Как записать огромное количество данных в xls-файл?

Question

[drowzeenico]

Доброго дня. Есть огромный массив данных - 1 млн объектов, которые получаются путем выборки из базы данных. Теперь все это надо записать в excel-файл.

Сначала я взял npm-пакет excel4node. Для небольших наборов данных он отлично подходит(как и многие другие, кстати). Поддержка стилей, форматирования, обращения по ячейкам и пр. Но стоило мне попробовать записать эти самые 1 млн. строк, так нода крашнулась с:

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory

.

Если бы это был обычный файл, я бы использовать стримы для асинхронной записи, но как быть именно с xls файлом?

Answer 1

[hzzzzl]

ну, по слову node stream to xls гуглятся пакеты вроде такого ..
https://www.npmjs.com/package/node-excel-stream

а может застримить в CSV т.е обычный текстовой файл, и потом какими нибудь средствами сконвертить?
эксель сам по себе вообще сможет открыть миллион строчек?

Comments

[drowzeenico]

Спасибо за ответ! Сам тоже наткнулся на этот пакет, попробую использовать. Судя по примерам, там тоже в памяти держится миллион промисов, посмотрим, сработает-ли. Я тоже сначала подумал про CSV, но надо именно эксель. Насколько я нагуглил, сам эксель поддерживает чуть около 1 млн 48 тыщ записей, но сможет-ли он из открыть - это вопрос) Если получится записать, то попробую открыть )

[Everything_is_not_so_bad]

drowzeenico, Файлы CSV отлично открывает Эксель.

[Philipp]

Роман Мирр, я думаю там какой-нибудь очередной прайслист с навернутым форматированием.

В общем, делайте новый файл экселя - это тупо xml, который потом пожат архиватором.
Для таких объемов сделайте просто - сгенерируйте файл на 100 строчек, отследите повторяющийся контент. Там на самом деле простой формат.
Потом, если база держит, напишите генератор в несколько потоков, каждый поток будет свой кусок данных дергать из базы и писать в отдельный файл. По итогу склеивайте все вместе тем же cat и архивируйте.

Вообще делать такие вещи на ноде пахнет дурно. Тут какой-нибудь го нужен. Там можно горутинками с каналами очень мощно сделать. Правда тут же база может приплыть.

[drowzeenico]

Philipp, Да, там как раз примерно такой файл. Если бы был просто список, конечно же CSV заюзал бы. Спасибо за направление, куда смотреть