Почему парсинг происходит так медленно?

Question

[khodos_dmitry]

Паршу сейчас сайт 2 миллиона страниц. За минуту в среднем 10 страниц парсится.
Использую многопоточность и прокси. Многопоточность типа несколько одинаковых скриптов с разным диапазоном страниц. При чем, что в один поток, что в несколько скорость одинаковая.
Прокси использую платные.
Канал не забит, так как можно смотреть full hd видео параллельно. При просмотре скорость ни возрастает, ни падает.
Оперативы хватает, процессора тоже.
Использую phpQuery, но не думаю, что дело в ней, так как процессор не забит.

Comments

[VisualIdeas]

нагрузка на mysql есть?

[khodos_dmitry]

VisualIdeas: есть.

[VisualIdeas]

Количество одновременных соединений проверьте, тоесть если скачивание и обработка занимает какоето время - остальные потоки могут ждать

Answer 1

[Dimonchik]

multucurl спасет тебя, 200 в секунду реально