LINKeR UA

Я использую многопоточно CURL (мультикурл) через proxy - для того чтобы получить контент предположим с 100-500 страниц за 3-5 секнд. И PHP DomDocument + DomXPath для выпаршивания.

Благо мощности сервера хватает.