Что изучать для web crawling?

Question

[False9]

Добрый день!
Что изучать для web crawling?
Я так понимаю ЯП - python. А вот какие технологии/библиотеки изучать, и есть ли какой-нибудь определенный маршрут по изучению данного направления - непонятно.
Заранее спасибо!
PS: кто работал/работает с данным направлением - есть перспективы?

Answer 1

[deepblack]

https://lxml.de/
https://scrapy.org/
https://www.crummy.com/software/BeautifulSoup/

Для начала этого хватит, в сети есть куча примеров использования данных библиотек.

+ статьи на хабре по желанию:
https://habr.com/en/company/ods/blog/346632/

Из литературы:
Скрапинг веб-сайтов с помощью Python, Райан Митчелл.

Так-же иногда бывают нужны Phantomjs или Selenium.

Comments

[sim3x]

bs - не нужен

[Hiccup Heddok]

sim3x, Кто сказал? Весьма удобная либа.

[sim3x]

Hiccup Heddok, нет
Кроме того, при использовании lxml просто лишняя обертка

[Hiccup Heddok]

sim3x, А чем быстрее? Ты чем пользуешься?

[sim3x]

Hiccup Heddok, с незнакомыми людьми лучше на вы

lxml

[Hiccup Heddok]

sim3x, А что скажете о Scrapy?

[sim3x]

Hiccup Heddok, он хороший

[Hiccup Heddok]

sim3x, Быстрее того же lxml?

[sim3x]

Hiccup Heddok, скрапи использует для парсинга lxml

Сравнивать комбайн и парсер хтмл - неразумно

[Hiccup Heddok]

sim3x, Спасибо.

Answer 2

[freelion93]

Если ты собрался в data science / data mining то да переспективы есть
изучать:

• Urllib.
  
• Requests
  
• Beautifulsoup
  
• LXML
  
• Pandas
  

Также не лишним знание SQL, знать как "приготовить" данные