Long Polling, Websocket.
На сервере - это запуск дочернего php-процесса через php-менеджер очереди по запросу на парсинг с выводом прогресса в unix-сокет при подключении клиента - другого php-скрипта, который стартует уже по запросу из браузера и подключается к скрипту-парсеру.
На клиенте (в браузере, js) - контроль соединения: авто-реконнект при потере связи.