Чем в php можно быстро разобрать большой xls файл?

Question

[slpdmn]

Надо на сервере сделать импорт xls файла размерностью 30-50 тыс строк на 20 колонок. Файл очень простой, только цифры и даты. PHPExel с отключенными наворотами и включенным кэшем крутит его около 5 минут, что совершенно неприемлемо. Пока самый быстрый вариант — xls-reader, он работает примерно в два раза быстрее, но все равно это слишком долго.
Кто-нибудь решал такое чудо?

Comments

[smileonl]

скиньте файл, мне интересно поковырять

[slpdmn]

К сожалению не могу — корпоративные дела… Но там нет ничего особенного столбцы из цифр, столбцы из дат и пара строковых столбцов.

Answer 1

[Gibbzy]

xls -> csv, а дальше или в массив

Или сразу в mysql:

load data local infile 'c:\input.csv' into table people character set utf8 fields terminated by ';' enclosed by '"' lines terminated by '\r\n' (id, first_name, last_name, passport_number);

Второй вариант предпочтительнее, а дальше там с mysql таблицей проще будет.

Comments

[slpdmn]

За подсказку про импорт в mysql — спасибо, но проблема как раз в первой части xls -> csv. Там больше всего времени теряется.

Answer 2

[softm]

Вопрос, а какого быстродействия вы хотите достичь?
Сервер достаточно мощный?
Ипи время ограничено в 30 секунд?
Можно расстреливать вычисления, в любом случае.
То есть в одном потоке читать строку от и до.

Comments

[slpdmn]

Никаких технологических ограничений нет, можно хоть 10 мин этот файл парсить. Доступ к php.ini у меня есть, так что и 30 сек — не время. MySQL забывает коннект, но это тоже невелика проблема. Сервер так себе — 2ГГц, 4Мб. И xls и так у меня без записи в файл, строкой живет от начала до конца.
Т.е. разумных аргументов почему хочу хочу быстрее — нет. Просто как-то сильно не нравится. Сам Exel открывает же этот файл за пару секунд. Слишком радикальная разница во времени.

[softm]

*расстреливать =
распараллеливать — запускать чтение диапазона в отдельном потоке, складывать и сортировать.
Будет быстрей.

Answer 3

[Максим]

Можно попробовать экспортировать xls в mysql просто делается, а потом обращение в БД дергать PHP все, что душа пожелает.

Comments

[Сергей Протько]

если операция разовая то смысла тут нету. Лучше, как предлагалось выше, перегнать в CSV бинарником и потом обрабатывать как массив данных через какой underscore.php или же просто через map/reduce. А там уже с данными обработанными можно делать угодно.

[slpdmn]

Это почтовый робот. Он принимает файл, распарсивает его и ложит в базу. Приход по почте идет в основном в xls формате, т.е. нужен полный автомат.