Каким способом можно сделать PARSER в Symfony?

Question

[hiatos_geter]

Добрый день.
Недавно начал работать с Symfony.
И возникла задача написать свой XML-parser.

т.е. есть XML файл порядка весом 200 мб с более чем 40 тыс. записями.
Парсинг такого файла занимает некое количество времени.
То бишь циклом проходится по всем строкам файла и т.д.

И суть вопроса такого каким методом можно парсить в фоновом режиме файл?
Ключевое слово в фоновом.

т.е. берем загружаем файл нас перенаправляет на главную страницу (например) и показывает окошко идет процесс загрузки/парсинга файла.

Заранее спасибо.
Если не сложно немного описать процесс как это делать.

Answer 1

[Flying]

Парсинг больших файлов осуществляется в потоковом режиме. Для XML существует стандарт потокового парсинга - SAX. В PHP есть стандартный модуль, реализующий SAX через libxml2.

Для реализации именно фоновой обработки может быть множество различных подходов в зависимости от вашего приложения: это и банальный запуск задач по cron'у и организация очередей и т.п., есть масса информации по этому вопросу.

Если вам нужна информация о прогрессе - то очевидно что вам будет необходим некий канал связи между фоновым процессом обработки, сервером и клиентом. Опять же вариантов реализации может быть много, кроме того ваше желание показывать прогресс в целом ставит под сомнение необходимость для вас именно фоновой обработки.

Также хочу заметить что парсинг 200мб XML - не та задача которая требует отображения прогресса т.к. сам процесс парсинга будет занимать максимум единицы секунд, а скорее ещё быстрее. Больше времени может уйти на загрузку этого файла, или сохранение / обработку данных, полученных из XML, возможно вы это имели в виду?

Comments

[hiatos_geter]

Спасибо за ответ.

Ну скорее всего да, мне надо результаты парсинга сохранить в в саму базу.

[Flying]

hiatos_geter, Попробуйте определить для себя приоритеты:

1. Возможно вам важно чтобы обработка шла в фоне, это как правило не предусматривает информации о прогрессе, по крайней мере относительно точной, как правило достаточно только сообщения об окончании обработки. Такое сообщение может доставляться не обязательно в браузер, это может быть и какой-то другой канал доставки информации, к примеру email или сообщение в какой-то мессенджер. Также в этом случае пользователю необязательно дожидаться окончания процесса обработки перед экраном - он может переключиться на другие дела. В этом случае всё просто - пишите что "данные в обработке, по окончании мы вам сообщим"
   
2. Возможно вам нужно чтобы общий workflow был синхронным и эта обработка - один из этапов. Тогда возможно вы рассматриваете отображение прогресса как своего рода способ удержать внимание пользователя "ну вот смотри, делаем, ещё немного...". В этом случае вам не обязательно знать конкретный прогресс, а достаточно только факт окончания обработки т.е. этот случай сводится к первому, просто с неким бесконечным progress indicator'ом
   
3. Возможно вам по каким-то причинам действительно важен реальный прогресс и его отображение. Это можно реализовать, но организация будет нетривиальной т.к. вовлекает в себя несколько компонентов (фоновый обработчик, сервер и клиент). Но в большинстве случаев вы, скорее всего, обнаружите что п.1. или п.2 достаточно хорошо описывают ваш сценарий
   

[hiatos_geter]

Больше придерживаюсь к п.2.
Просто надпись что вот идет обработка ждите.

А вот как саму обработку сделать т.е. сохранение после парсинга для меня пока что загадка. Или я не в то направления смотрю.

[Flying]

hiatos_geter, Как именно реализуется сохранение данных - это уже целиком специфика вашего собственного приложения и его бизнес-логики. Если же вопрос про запуск обработки в фоне - то я в ответе указал несколько возможных направлений, выбор конкретного опять же сильно зависит от вашего приложения.