Планируем разработать парсер порядка 10 сайтов на casperjs. Сейчас встал вопрос с архитектурой всей системы.
Кратко описываю процесс:
1. Сервер получает POST\GET запрос с набором входных данных
2. Сервер обрабатывает входные данные, делает их пригодными для ВСЕХ скриптов, запускаемых в casperjs
3. Сервер должен запустить синхронно все 10 скриптов для парсинга
4. Скрипты после успешного парсинга передают обратно на сервер обработанные данные в унифицированном формате
Вопросы:
п.3 - как запускать синхронно все 10 скриптов? bash скрипт?
п.4 - как максимально быстро записать результат в mysql? кладем json в файл, затем читаем из файла?
Задача сделать максимально отказоустойчивый сервис + быстродействие должно быть на высоте. Среднее время работы парсинг-скрипта - 10 секунд.
