Как лучше всего формировать xlsx в php на 10+ млн ячеек?

Question

[Dr Zhmurge]

Phpspreadsheet справляется плохо. 4 Гб оперативки заканчиваются уже на 4 млн ячеек. И процесс выгрузки идет минут 30. Может кто посоветовать более быстрые библиотеки или способы?

Comments

[FanatPHP]

мне кажется тут нет вариантов.
только хаки типа цсв или хтмл

[FanatPHP]

и я бы скорее с интересом посмотреть на эксель, который потом со всей этой фигней попытается взлететь

Answer 1

[Антон Шаманов]

xlsx это zip архив c xml файлами, можешь формировать его вручную, сделай шаблон файла чтобы не генерировать с нуля и было проще вставить контент. но такой объем данных будет тормозить в любом случае, даже если конвертировать его в CSV

Answer 2

[Сергей c0re]

Чтобы было быстрее работайте с файлами xl/worksheets/sheet?.xml (внутри zip архива - xlsx файла) напрямую! либо как с XML, либо как с текстом поиск/замена (через регулярки например), хотя... если это чистый файл с нуля, то проще и быстрее генерировать эти файлы с нуля как текст, в этом файле данные в разделе sheetData, см. пример:

<sheetData>
    <row r="1">
      <c r="A1" t="str">
        <v>Иванов</v>
      </c>
      <c r="B1" t="str">
        <v>Петров</v>
      </c>
      <c r="С1" t="str">
        <v>Сидоров</v>
      </c>
...
    </row>
  </sheetData>

PS: да сохраните любой эксельник в xlsx переименуйте в zip и посмотрите, поймете.

Либо переходите на связку ... например на Go + пакет Excelize и либо на нем микросервис сделать и соответственно работать, либо бинарник для cmdline и соответственно вызывать его из PHP

Comments

[Dr Zhmurge]

Сергей c0re я пишу про ячейки. Колонок около 270. То есть строк всего 37к для 10 млн ячеек

[Сергей c0re]

Егор Плужнов, а, понял ))
работайте как с текстом, генерируйте текстовик, сохраняйте в структуру, зипуйте - xlsx

PS: обновил ответ.

[Dr Zhmurge]

Сергей c0re, Спасибо за совет. Попробую пока на другую либу переключить.

[Сергей c0re]

Егор Плужнов, можно еще попробовать XSLT-процессор для заполнения xl/worksheets/sheet?.xml

Answer 3

[Вадим]

Попробуйте https://packagist.org/packages/avadim/fast-excel-writer

По памяти точно уложитесь, и по времени тоже будет однозначно быстрее Phpspreadsheet