Как экспортировать большие данные в excel?

Question

[Денис]

Добрый день. Может кто-нибудь сталкивался с экспортом большого количества данных (более 100к) в excel (xlsx формат). Подскажите как можно реализовать подобное? Данные берутся из базы данных MySQL. Сама система, которая инициирует экспорт написана на php.

Comments

[Дмитрий Кузнецов]

Где-то встречал данный вопрос. Попробую найти.
Помню там было написано, что нужно получать данные небольшими кусками и сохранять в excel. Верно ли это, к сожалению, не помню. Но вариант на мой взгляд стоящий.

Answer 1

[Barmunk]

Есть специальный пакет для экспорта большого объема, можете попробовать его.

https://github.com/box/spout

Spout is a PHP library to read and write spreadsheet files (CSV, XLSX and ODS), in a fast and scalable way. Contrary to other file readers or writers, it is capable of processing very large files while keeping the memory usage really low (less than 3MB).

Answer 2

[Anton Mashletov]

Не слушай советчиков с PHPExcel. Он уже при 5-10к строк начнет потреблять 100+ мб оперативы.
Кандидат от народа: box/spout. Пишет в файл на лету. Минус: почти полное отсутствие форматирования. Не умеет делать ни ширину столбцов, ни выравнивание по краю... Только шрифт / бордеры.

Answer 3

[АртемЪ]

В excel подается обычный текст, никакие формулы внутри не используются

Так а зачем на пхп пытаться всунуть данные именно в XLSX ?
Не проще ли просто выгрузить их из БД и сохранить в банальный CSV, с которым EXCEL прекрасно взаимодействует.

Comments

[Денис]

Данные передаются в xlsx в виде отчёта для дальнейшей передачи аналитика. Это было их пожелание

[АртемЪ]

Денис, Ну кто мешает вам передавать аналитикам отчет в xlsx?
Я про выгрузку говорю - выгружайте в CSV.

[Денис]

В таком случае появляются разного рода проблемы в плане типа данных после конвертации в csv. В моем случае конечный xlsx должен сохранить тип столбца,если это дата или число, т.к.затем с такими данными происходят разные подсчёты в самом экселе

Answer 4

[konst74]

Чисто из опыта работы в Excel, при объемах в сотни тысяч строк и более-менее сложных расчетах он начинает сильно тупить и пересчитывать листы по 30 секунд. Я бы сто раз подумал как это потом использовать ) Может сливать уже хоть как-то агрегированные данные

Comments

[Денис]

В excel подается обычный текст, никакие формулы внутри не используются

[Пычев Анатолий]

Денис, Да, но для работы в excel с таким объемом вы обязательно будете использовать фильтры, сортировку, сводные таблицы и т.д. А Вот здесь уже ждите тормоз.
поддерживаю мысль konst74

Answer 5

[Пычев Анатолий]

Или использовать библиотеку PHPExcel, для генерации excel файла

Answer 6

[Денис]

А может есть более простой вариант? наподобие ETL (он на данный момент и используется,однако такое количество строк записать в файл не под силу)

Answer 7

[Eugene]

Просто на всякий случай добавлю, что современная версия Excel прекрасно может брать данные прямо из MySQL. Может, ну его, "промежуточные звенья"?...

Comments

[Dmitry Strelets]

7 млн строк, осилит? без чанков? А в один файл влезет?

[Eugene]

Dmitry Strelets, а какие проблемы? Конечно, если это современный компьютер. Есть практический опыт обработки 35 милн. строк на офисном десктопе с 8 Гб памяти. Какой процессор - не знаю (наклейка Интел), Вин 10х64, офис 16 х64. В данном случае разрядность офиса важна, если что...

Answer 8

[Dmitry Strelets]

https://github.com/sni10/importHelper

Либу подключить можно любую для работы с телом файла хоть box/spout , хоть PHPExcel