Как написать решение для пакетного парсинга?

Question

[Кирилл]

Посоветуйте как лучше сделать решение для такой задачи:
Есть 5 тысяч доменов, нужно чтобы скрипт авторизировался на них и парсил некоторые данные. Количество доменов будет постоянно увеличиваться, а время выполнения скрипта на PHP будет за шквальное, думаю может быть на AJAX сделать обращение к серверу а там PHP скрипт по очереди будет обрабатывать например по 10 доменов за 1н запрос? Посоветуйте может что-то интереснее, или если я по дибильному задал вопрос могу что-то уточнить)

Answer 1

[dummyman]

Попробуйте casperjs.org + slimerjs.org они должны упростить задачу

Answer 2

[f9k56]

Делайте много поток. 5000 доменов в 100 потоков это 5 минут работы.