Какие знания нужно иметь, чтобы писать парсер на Python?

Question

[iiideb]

Почти выучил основу Python. Что нужно будет учить, чтобы свободно писать парсер сайтов на Python? И какие ресурсы лучше для этого подходят.

Comments

[Сослан Хлоев]

Internet Protocols and Support

[Roman Ratkin]

Берете hh.ru (или любой другой) и пишете парсер. Например, спарсите вакансии определенной тематики. Это даст ответ на вопрос с какими модулями придется работать и первый опыт.

Answer 1

[Владимир Проскурин]

Ваш вопрос звучит так "Какие знания нужно иметь, чтобы создавать транспортные средства?". Парсеры бывают разные, где-то просто собрать кусок текста из блока (хватит обычного requests), где-то скопировать материалы с множества страниц (удобнее уже Scrapy, lxml), где-то будет мешать авторизация, где-то будет мешать капча (нужно писать распознание капчи или использовать платные API для распознания капчи), где-то уже будут серьезные защиты от парсинга.
Пишите простые парсеры, потом потихоньку переходите к более сложным, там будете уже понимать, какие штуки нужны.

Answer 2

[Denis Melnikov]

Я начинал с Requests + bs4 .
Ну и знать
HTML DOM
CSS
sql ( куда то же надо девать данные )

Comments

[iiideb]

А где найти именно обучалки по модулям Requests и bs4?

[Denis Melnikov]

iiideb, очень советую книгу
Понятно и доступно, как раз про bs4 и requests

Answer 3

[Алексей]

Проще всего через bs4. Производительность парсеров будет не промышленная, прямо скажем, но для тренировки и каких-то разовых задач вполне сойдёт.
Вот так это выглядит https://www.youtube.com/watch?v=KPXPr-KS-qk

Желательно освоить библиотеку lxml
https://lxml.de/index.html

Есть также фреймворк Scrapy.

По этому вопросу даже литература имеется
mirknig.su/knigi/programming/114900-skraping-veb-s...

Само собой, основы разметки нужно знать, понимать что такое XPath и CSS-селекторы.

Answer 4

[Aleksandr]

Если ищите примеры парсеров веб страниц с разбором и объяснениями делюсь ссылкой
Либо вот большая подробная статья на хабре от этих же ребят