Парсинг сайтов xpath?

Question

[Тая]

разбираюсь с парсингом, вроде с beautiful Soup разобралась, но теперь встал вопрос про xpath.
Посоветуйте туториалы, лит-ру, а то найти не могу, везде практика, а нужна больше теория.
буду благодарна

Comments

[sim3x]

Используйте сразу lxml вместо bs

По xpath не будет теории - только практика

[Олег Беж]

Зачем теория, Вы изучаете для общего развития и сдачи экзамена по теории парсинга или же хотите уметь работать с этими инструментами?

[AlexBoss]

sim3x, чем bs не устраивает, если не секрет? Достаточно времени им пользовался, проблем не было.

[sim3x]

AlexBoss, он ненужная прокладка добавляющая ошибки

[AlexBoss]

sim3x, понял, спасибо

[Михаил]

AlexBoss, при работе с большим количеством данных (объектов), приводит к утечки памяти, так-как питоновский сборщик мусора не умеет его убивать. Я писал большой проект по анализу гугл таблиц, нужно было реализовать проверку ссылок из таблицы. Несколько дней не мог понять почему оперативная память начинает таять на глазах. В итоге пришлось переписывать реализацию на lxml. Мало того что потребление памяти снизилось и остановилось, так ещё и скорость работы возросла. Пользоваться им конечно не привычно по началу, но достаточно посмотреть пару хороших примеров кода, и всё становиться понятно.

[AlexBoss]

Михаил, большое спасибо за детальный ответ. Можешь кинуть пару достойных и понятных примеров использования? Доку в любом случае изучу, но хотелось бы посмотреть что-то.

[Михаил]

AlexBoss, по поводу lxml вот тут и тут довольно подробно описан геморой с ветками (т.е концепция поиска данных в lmlx подразумевает что ты будешь указывать вложенность искомого объекта), сейчас посмотрел свою реализации и в итоге я ушел от lxml в сторону html5lib. Он в целом работает похожим образом как суп, но лишен недостатков lxml (таких как кодировка, поиск элемента и.т.д).
В своё время я убил целый день что бы понять как же работает lxml с этим драными ветками (etree), и данная библиотека как ты наверное понял из названия, лучше всего подходит для работы именно с xml данными, т.е ей нужно будет объяснить что ты работаешь с html, его там нужно было ещё как-то преобразовать, в общем на любителя. Я так и не решился усложнять свой код этими конструкциями, тогда как на html5lib, разберешься максимум за час. Она умеет и читать и парсить, и ей достаточно указать на объект что бы его найти, ну или на группу объектов. Сам код я обычно получаю с помощью реквеста обычного

Answer 1

[Bakotiinii]

Р. Митчелл. Скрапинг веб-сайтов с помощью Python.

Там все, что вам нужно по теме парсеров на Python.

p.s. говорят, что эту книгу какие-то нехорошие люди выложили в определенные места с ромом и черными флагами.

Comments

[AlexBoss]

да что вы говорите, все есть. Про более удобную библиотеку requests и selenium для некоторых вещей нет ни слова.

[Ivan Yakushenko]

AlexBoss, только вот selenium и requets немного не об парсинге.

Answer 2

[Noir]

https://devhints.io/xpath

Answer 3

[Vyacheslav]

http://программисту.рф/theory/xpath-example/
Потренироваться с xpath можно в браузере Chrome с помощью расширения XPath Helper.

Answer 4

[abbrakadabbra]

Пракикуйтесь.
Можно прямо в браузере на странице, которая вас интересует.

Comments

[Тая]

?

[abbrakadabbra]

Тая, что вам непонятно?

[Тая]

abbrakadabbra, не понятно именно где в браузере

[abbrakadabbra]

Тая, в инспекторе, вкладка Console.
$x("ваш xpath")

[Vyacheslav]

Тая, я дополнил свой ответ, там теперь написано и о том, как тренироваться в браузере.

Answer 5

[Евгений Николаев]

Не совсем может по Вашему вопрсоу.
У Котерова и Костерова в книге по PHP 5.3 есть описание Xpatch. Книга разумеется по PHP а не PYTHON, но если Вам просто нужно описание самого XPatch то вполне нормально подойдёт, только фуккции питоновские найдёте.

Answer 6

[Roman Fov]

Сам Xpath не такая обширная тема. Если и есть книга только по нему, то она не более 50 страниц. Там под пол сотни функций и с десяток осей.

Если быстро разобраться, то mdn наше всё.
Если просто почитать, то любая книга зарубежного издательства в названии или описании которой будет XML. Там обязательно будет глава про Xpath.