Как можно ускорить парсинг?

Question

[Матвей Истомин]

Я собираю информацию по всем публичным группам ВКонтакте (в т.ч. медиа - аудио, фото, видео, комментарии, заметки, записи...)
Создавать кучу аккаунтов бессмысленно, потому что ВКонтакте пресекает действия, направленные на сбор информации. Т.е. если много раз выполнить метод photos.getAll, то через какое-то время ВКонтакте будет выдавать ошибку 29 вместо данных.
Так как я собираю информацию по группам, то могу без всякого API парсить сайт. Это работает, но если запустить хотя бы два потока, то всё ломается.
Вопрос - можно ли ускорить этот процесс?
Знаю, что можно взять VPS и уже что-то делать.
Публичные прокси использовать нет смысла, они забанены. Можно купить. Что думаете?
Можно ли использовать Tor Proxy? Они забанены или нет?

Comments

[edward_freedom]

прочитай про метод execute. Видел в продаже где то прокси для парсинга вк

[Матвей Истомин]

edward_freedom, да, с помощью него реально можно сократить время, но есть одна большая проблема. ВКонтакте не хочет, чтобы его API использовали для сбора данных.
Уже проверено, что если через API добывать запросы, то через какое-то время будет выдана ошибка.

Answer 1

[Дмитрий Башинский]

к сожалению либо нужны либо прокси нормальные, либо другой способ делать запросы с разных ip.
К примеру если б у Вас был свой ботнет(куча машин выполняющих комманды) могли б дать задачу на получение данных со страницы.

Answer 2

[Пума Тайланд]

Прокси стоят копейки