@False9

Что изучать для web crawling?

Добрый день!
Что изучать для web crawling?
Я так понимаю ЯП - python. А вот какие технологии/библиотеки изучать, и есть ли какой-нибудь определенный маршрут по изучению данного направления - непонятно.
Заранее спасибо!
PS: кто работал/работает с данным направлением - есть перспективы?
  • Вопрос задан
  • 254 просмотра
Пригласить эксперта
Ответы на вопрос 2
Andrew_Pinkerton
@Andrew_Pinkerton
https://lxml.de/
https://scrapy.org/
https://www.crummy.com/software/BeautifulSoup/

Для начала этого хватит, в сети есть куча примеров использования данных библиотек.

+ статьи на хабре по желанию:
https://habr.com/en/company/ods/blog/346632/

Из литературы:
Скрапинг веб-сайтов с помощью Python, Райан Митчелл.

Так-же иногда бывают нужны Phantomjs или Selenium.
Ответ написан
@freelion93
Если ты собрался в data science / data mining то да переспективы есть
изучать:

  • Urllib.
  • Requests
  • Beautifulsoup
  • LXML
  • Pandas


Также не лишним знание SQL, знать как "приготовить" данные
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы