Как лучше формировать большие и сложные документы Excel?

Question

[Владимир Егудин]

Есть необходимость создавать Excel документ в котором будет порядка 15 тысяч товарных позиций.
Все товары группируются с сворачивающиеся блоки, для каждой товарной позиции вставляется ее изображение и далее в столбцах на против отображается количество на каждый день, движение (поступило/убыло) а также динамика цены. Результирующий документ должен выглядеть примерно вот так:


Данные все лежат в базе данных. PHP скрипт выбирает эти данные и формирует документ. Однако сейчас документ формируется порядка 15 минут и съедает астраномическое количество памяти. Весь указанный функционал смог реализовать лишь с помощью библиотеки PHPExcel

Однако пришла в голову следующие мысли - сделать формирование документа на клиентской машине. То есть:

1. сделать подготовку и выгрузку данных с сервера в одном из форматов:
   
   • в виде Excel файла
     
   • в виде XMLфайла
     
   • в базу Access или др.
     
   
   
2. с помощью VisualBasic сделать скрипт который при нажатии кнопки собирал бы документ в необходимый формат, то есть делал:
   
   • Визуальное форматирование таблицы
     
   • Собирал и сворачивал группы
     
   • Выкачивал по ссылкам изображения с сайта и вставлял в документ
     
   • Считал итоги
     

Как делали бы вы?

Comments

[Одиночка Айс]

Поставьте задачу на крон ночью и пусть делается сколько угодно времени, после создания файла память все равно освободится.

[Владимир Егудин]

Одиночка Айс, Сейчас так и есть, однако количество товаров растет а функции вставки изображений съедают огромное количество памяти, а рост количества столбцов увеличивает сильно время - в итоге по утру убеждаться сформировались данные или нет, если нет то решать вопросы с тем что надо наращивать - не сильно радует.

[Николай Чуприк]

Мне кажется, вы правильно придумали. Только наверное стоит не XML отправлять, а JSON.

[zhaar]

Взять простую БД, изначально заполнять ее и формировать эксель, если будет нужно кому-то. Изврат в виде эксель-файла, в котором давно и долго все ведется давно прошли.

[Одиночка Айс]

zhaar, скажите это магазинам, которые рассылают прайс-листы своим клиентам

[irishmann]

Чтоб лишний раз не верстать XLS заново, создай шаблон и с помощью PHPExcel заполняй. Подозреваю что у тебя не так реализовано.

$xls = PHPExcel_IOFactory::load("/templates/forma123.xls");

[zhaar]

Одиночка Айс, и? Экспортировать эксель в БД тоже можно без проблем.

[Владимир Егудин]

irishmann, О супер идея... а ведь в теории можно каждый раз шаблон расширять - то есть к примеру можно открывать шаблон, в котором уже 12 тыс товаров с изображениями и добавлять новые пару сотен - надо попробовать, наверно это будет намного быстрее и меньше потреблять памяти... хотя вопрос - получится ли вставлять строки в нужные позиции, так как товары собраны в группы по категориям.
А после добавления сохранять его как шаблон же.

[Одиночка Айс]

Владимир Егудин, при условии, что у вас товарные позиции меняются раз в месяц

[Владимир Егудин]

Одиночка Айс, почему ? у нас они меняются каждый день

[Одиночка Айс]

Владимир Егудин, тогда смысл вам делать шаблон из готового, если так? Только если формировать файл в несколько этапов с промежуточным сохранением в шаблон... Ну, такое...

[Николай Чуприк]

Я для для формирования "экселей" на сервере использую формат xlsx. Разобрался с его внутренностями за пару дней: это по сути зазипованный XML. Не знаю, что там внутри у библиотеки PHPExcel, я формирую xlsx файл в PHP сам "ручками". У меня, правда, обычные файлы, а не монстры на 15 000 строк, но по ресурсоёмкости делать xlsx — то же, что аналогичный HTML.

[Владимир Егудин]

Николай Чуприк, Да я с этим форматом тоже работал, но я не знаю как в него подгружать изображения в ячейки, как группировать ячейки, делать форматирование шрифтов... Либо я просто не нашел материалов по этому.

[Владимир Егудин]

Одиночка Айс, смысл я увидел в том, что основное время и память расходуется именно на вставке картинок и применении стилей ячеек.
Сейчас дабы отстроить документ и не улететь с ошибкой о нехватки памяти или времени я в настройках php-fpm указываю

max_execution_time = 1000
memory_limit = 512M

[Николай Чуприк]

Владимир Егудин, общий принцип xlsx я прочёл здесь на Хабре (найдёте). Надо разобраться со структурой папок (под зипом, как вы знаете там папки со стилями, картинками, контентом). Дальше я создал в Экселе нужный мне по виду, стилю, структуре xlsx-файл, и да, он был с картинками. Потом "пошёл в него внутрь" и раздербанил его как шаблон для вывода своего PHP. Т.е. читать и вникать во все спеки, чтобы самому создавать xlsx самому с нуля в notepad — совершенно лишнее занятие. Вставка картинок мною "понялась" сама, когда залез внутрь своего такого шаблона с уже вставленной картинкой.

Немного муторно правильно следить за нумерацией контента ячеек, когда циклами в PHP выводишь разные разделы. Но всё реально.

UPD: Немного уже подзабылось. Но может быть вам пригодится. Помню была проблема с кириллицей. Убей не помню в чём именно (кодировка, наверное?), но хорошо запомнил, что если файл совсем "пустой" оказывается, когда его Экселем открываешь на клиенте, то это с высокой вероятностью именно из-за кириллицы. Поэтому, если такая фигня возникнет, отладьте лучше сначала с контентом на латинице, а потом кириллицу добавляйте.

[Владимир Егудин]

Николай Чуприк, вообще интересно конечно - попробую глянуть, отпишусь