Python scrapy подойдет ли?

Question

[beginer123]

Здравствуйте, в связи с отсутвивем времени на изучение тонкостей scrapy хотел бы спросить у знающих людей
Подойдет ли Scrapy если
1)Мне надо симитировать работу браузера, по аналогии с phantomjs, есть ли там такое же?
2)Нужно скачать сотни тысяч урлов и сделать это паралельно с разными ip и как можно быстрее

Answer 1

[sim3x]

1 Полностью сьемитировать не получится
2 Да

Comments

[Александр]

А меня тоже эта тема интересует. Не знаете случайно - чем всё-таки можно съэмятировать?

[Roman K]

Александр: Selenium может сьямутирывать.

Answer 2

[Dimonchik]

сотни тысяч корованов Скрапи грабит плохо, по-моему socks до сих пор не поддерживает

Comments

[sim3x]

нормально грабит
для сокс существуют либы

[Datadit]

В крайнем случае можно PyPy использовать - ДАЖЕ в случае с Scrapy(она Network-bound) я получал 25% прироста по скорости благодаря ускорению парсинга html