Как загружать большие страницы с помощью Grab:Spyder?
Доброго времени суток, друзья.
Загружаю множество страниц из интернетов и складываю содержимое в бд. Те страницы, что небольших размеров, загружаются без проблем, но страницы большого объема в лог пишут следующее: DEBUG:grab.stat:RPS: 0.26 [error:operation-timeouted=7]
Выделенные курсивом цифры меняются от страницы к странице.
Перерыл всю документацию Grab'а, все Issues на гитхабе, все посты в GoogleGroups. Даже исходники поковырял. Много чего нового узнал, но только не значение загадочного "timeouted".
Дорогие друзья, объясните, пожалуйста, что эта ошибка из лога значит (предполагаю, что "соединение разорвано, т.к. превышен интервал ожидания") и как сделать так, чтобы паучки качали страницы любых объемов.
UPD:
Забыл упомянуть, я использую прокси-сервер.
Без него мне просто дают 429 ошибку в 75% случаев.
