Как правильно работать с мультизапросами на curl?

Здравствуйте. Нужно сделать несколько тысяч запросов, а точнее 40000. Понятно, что мультизапросы отработают куда быстрее, но я не до конца понимаю как они работают. Раньше сканировал по 20 страниц за раз, то есть: инициализировал 20 curl handles, добавлял в multi handle и просто менял параметры. Думал, что 40000 дескрипторов будут сильно память нагружать, сейчас хочу проверить.

Еще проблема когда страниц например 133. Число нацело не делится на 20, и там лишние проверки добавляются. Хочется, чтобы без пачек всё было, линейно. В общем, нужно добавить 40000 десткрипторов в мультизапрос и потом после каждых 20 производить манипуляцию с данными и идти дальше.
  • Вопрос задан
  • 2694 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы