не подойдет, наверно, т.к. для каждого сайта помимо загрузки страницы - есть своя логика обработки данных.
А pthreads я использовал для того, чтобы параллельно запрашивать информацию с сайтов и обрабатывать ее внутри этого же потока, проанализировать и возможно еще сделать запросы, для каждого сайта своя логика. Где-то капчу распознать перед запросов надо, где-то авторизоваться и отправить форму - то есть 2-3 curl запроса внутри потока.
Nodejs рассматривал, но разве там не также будет? Будут параллельно обрабатывать запросы. Или там это быстрее работает и ресурсов необходимо меньше?
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Это лишь мои варианты, что пришли на ум.
Может есть еще варианты получше?