Паршу сейчас сайт 2 миллиона страниц. За минуту в среднем 10 страниц парсится.
Использую многопоточность и прокси. Многопоточность типа несколько одинаковых скриптов с разным диапазоном страниц. При чем, что в один поток, что в несколько скорость одинаковая.
Прокси использую платные.
Канал не забит, так как можно смотреть full hd видео параллельно. При просмотре скорость ни возрастает, ни падает.
Оперативы хватает, процессора тоже.
Использую phpQuery, но не думаю, что дело в ней, так как процессор не забит.
