Что почитать про парсинг?

Question

[Никита Кощеев]

Увлёкся парсингом данных на python. Какие посоветуете книги по данной теме?

Answer 1

[datka]

Основы HTML, CSS. Документацию по BeautifulSoup, Requests. Документацию по работам с List и Dict и циклами в питоне. Документацию по Selenium, Гайды по работе с консолью разработчиков Chrome/Firefox.Youtube ролики. Гугл. Как минимум надо знать как устроен сайт.

Comments

[Gor1950]

Что за бред Вы несете? Регулярные выражения - это то что решает 90% потребностей новичка. Зная регулярки можно парсить хоть при помощи CMD curl или же Invoke-WebRequest в PowerShell. а тем более в Питоне. И похер на языки и технологии

[datka]

Gor1950, Каждый парсит тем, чем удобней. Если вам удобней через регулярки милости прошу парсите через регулярки.

Чем вам собственно не угодил BS4?

Что из описанного выше для вас бред? Знания Html,CSS? Может Selenium?

[JRazor]

Добавлю важность понимания HTTP запросов (методы, headers, cookie и прочее)

Answer 2

[BadCats]

К ответу datka - как к реальному и чисто прикладному - добавлю, что еще можно углубиться в теория формальных языков, грамматики (как работают компилятор, интерпретаторы) - что, возможно, позволит писать более универсальный код - не так сильно привязанный к верстке страницы - т.к можно пытаться анализировать html/xml - на уровне токенов и лексем, даже с кастомными классами и атрибутами для элементов. Но это очень сложная область и возможно, что "овчинка выделки не стоит".

Answer 3

[dmshar]

Райан Митчелл. Современный скрапинг веб-сайтов с помощью Python. 2-е
межд. издание . — СПб.: Питер, 2021.
Anish Chapagain. Hands-On Web Scraping with Python.-2019.
Katharine Jarmul, Richard Lawson. Python Web Scraping. Fetching data from the web.-2017 Packt Publishing.
Richard Lawson. Web Scraping with Python Scrape.-2015 Packt Publishing

Answer 4

[acwartz]

Смотрите в сторону комп. зрения и нейронных сетей. Действительно вкусные вещи за парсинг которых многое отдадут, защищают от всего вышеперечисленного. Например отображение их в виде стрима видео-потока, или рисовка данных в WebGL где-то на бэкэнде. А не вот это все...

Comments

[Александр]

Можно конкретные примеры где это используется?
Спасибо!

[acwartz]

Александр, глобальные биржи ставок на спорт например, откуда данные тащат половина российских чудо-ставок. Когда-то, когда трава была зеленее а flash не просто включался а даже ещё работал, они использовали его, чтобы показывать эту информацию. Ясное дело, все выше перечисленные браузерные свистоперделки отлетали на раз-два, нужно было ковырять ковырять саму флешку. Сейчас на замену ему пришел WebAssembly, которые делает тоже самое, рисуя картинки... Встречал и биткоин-биржи которые целиком рисовка в webGL.

[Александр]

acwartz, Понял вас. Благодарю!

Answer 5

[Виктор]

Обратите внимание на генераторы парсеров. На пример найдите какие то питон аналоги для bison / flex