Как сделать Парсинг Амазона используя LXML+REQUESTS и прокси?

Question

[Emil Revencu]

Сделал парсинг, но нужно сделать много запросов.
Каждый запрос идёт с меняющим (rotation) proxy ip и user-agent (multithreads)

Page=requests.get(url, headers=header, proxies={'http':'xxx.xxx.xxx.xxx:8000'})

Хотя и до следующего использования того же IP но уже с другим агентом уходит больше минуты получаю уже каптчу страницу, то есть один IP используется только один раз. При использовании модуля GRAB такой проблемы нет, но GRAB падает на multithreads.
Что же использует Grab чтобы использовать также для связки LXML+ REQUESTS?
Пробовал также и session=requests.Session(). Не помогло

Answer 1

[Emil Revencu]

так и не работает код при повторном использовании того же IP (получаю каптчу на Амазоне)

session=requests.Session()
session.cookies.clear()
session.keep_alive = False
session.headers = {'Connection':'close', 'User-Agent': agent}                         #agent - random
page=session.get(url, proxies={'http':'http://'+IP}, timeout=(60,60))             # IP - rotation
session.cookies.clear()

Comments

[Bjornie]

Emil Revencu Здравствуйте, вы решили вопрос теме? На днях начал делать такой же парсер, предварительно прочитав меры предосторожности при парсинге Амазона (в основном буржуйские статьи) и понял, что без прокси там делать нечего. Первые наброски парсера (Selenium + BS4) пока не вызывали каптчу (меняю только UA), но сейчас пришло время к прикрутке прокси. Если можете поделитесь опытом как вы решили вопрос. Спасибо!

Answer 2

[Dimonchik]

multicurl

Comments

[Emil Revencu]

Вместо requests? Можете дать пример? Не сталкивался с ним