Как получить данные из HTML тега с помощью Python?

Question

Issue @paulenot

IT Issue

Python

Как получить данные из HTML тега с помощью Python?

Здравствуйте! Интересует, как можно простым способом получить данные от тега по адресу URL? В интернете много инструкций сложных для понимания. Хотелось бы без лишнего понять что импортировать, и как получить данные от тега по ID или Class и вывести значение с помощью print()

Вопрос задан более трёх лет назад
1546 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Помогут разобраться в теме Все курсы

Яндекс Практикум

Python-разработчик

10 месяцев

Далее
Skillfactory

Профессия Python-разработчик

9 месяцев

Далее
Нетология

Fullstack-разработчик на Python + нейросети

20 месяцев

Далее

Решения вопроса 1

8 комментариев

Issue @paulenot Автор вопроса

А какую функцию использовать, что бы получить разметку по URL в переменную html?

Написано более трёх лет назад
Владимир Куц @fox_12 Куратор тега Python

Issue, я же привел часть кода

Написано более трёх лет назад
Issue @paulenot Автор вопроса

Владимир Куц, Благодарю!

Написано более трёх лет назад

Issue @paulenot Автор вопроса

Владимир Куц,

#!/usr/bin/env python
def load(url, typ, val):
    from lxml import etree
    import requests
    response = requests.get(str(url))
    html = response.text
    root = etree.fromstring(html)
    sets = './/*[@' + typ + '="' + val + '"]'
    return root.xpath(sets)[0].text
    

url = "https://qna.habr.com/"
typ = "class"
val = "service-description"
load(url, typ, val)

Вывод всегда подобного рода:

usr@Inspiron-5749:~/Development/Python$ python lxml-parser.py 
Traceback (most recent call last):
  File "lxml-parser.py", line 15, in <module>
    load(url, typ, val)
  File "lxml-parser.py", line 7, in load
    root = etree.fromstring(html)
  File "src/lxml/etree.pyx", line 3235, in lxml.etree.fromstring
  File "src/lxml/parser.pxi", line 1876, in lxml.etree._parseMemoryDocument
  File "src/lxml/parser.pxi", line 1757, in lxml.etree._parseDoc
  File "src/lxml/parser.pxi", line 1068, in lxml.etree._BaseParser._parseUnicodeDoc
  File "src/lxml/parser.pxi", line 601, in lxml.etree._ParserContext._handleParseResultDoc
  File "src/lxml/parser.pxi", line 711, in lxml.etree._handleParseResult
  File "src/lxml/parser.pxi", line 640, in lxml.etree._raiseParseError
  File "<string>", line 5
lxml.etree.XMLSyntaxError: Entity 'mdash' not defined, line 5, column 34

Написано более трёх лет назад

Владимир Куц @fox_12 Куратор тега Python

Issue, немного видоизменю ваш код:

import io
import requests
from lxml import etree

url = "https://qna.habr.com/"
typ = "class"
val = "service-description"

def load(url: str, typ: str, val: str) -> str:
    parser = etree.HTMLParser()

    html = requests.get(url).text

    root = etree.parse(io.StringIO(html), parser)
    sets = f'.//*[@{typ}="{val}"]'
    return root.xpath(sets)[0].text

print(load(url, typ, val))

Написано более трёх лет назад

Issue @paulenot Автор вопроса

Владимир Куц, У меня почему то в терминал выводит всю страницу

Написано более трёх лет назад
Владимир Куц @fox_12 Куратор тега Python

Issue, слегка поправил скрипт

Написано более трёх лет назад

Issue @paulenot Автор вопроса

Владимир Куц, Благодарю за помощь, так работает:

#!/usr/bin/env python3
import requests, io
from lxml import etree as e
u = 'https://qna.habr.com/q/713045?e=8590853#comment_2122051'
t = 'class'
v = 'question__title'

def l(u: str, t: str, v: str) -> str:
    p = e.HTMLParser()
    h = requests.get(u).text
    r = e.parse(io.StringIO(h), p)
    return r.xpath(f'.//*[@{t}="{v}"]')[0].text

print(l(u, t, v))

Нашел и вывел:Как получить данные из HTML тега с помощью Python?

Не нашел и вывел(как заменить на 0?):

usr@Inspiron-5749:~/Development/Python$ ./lxml-parser.py 
Traceback (most recent call last):
  File "./lxml-parser.py", line 14, in <module>
    print(l(u, t, v))
  File "./lxml-parser.py", line 12, in l
    return r.xpath(f'.//*[@{t}="{v}"]')[0].text
IndexError: list index out of range

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

1 комментарий

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

Простой
Что делать если turtle в python не отвечает?
- 1 подписчик
- вчера
- 140 просмотров
2

ответа
Python

Простой
Не могу разобраться почему не работает код python?
- 1 подписчик
- вчера
- 252 просмотра
2

ответа
Python

Простой
Какие есть удобные API для генерации картинок через AI?
- 2 подписчика
- 20 окт.
- 159 просмотров
1

ответ
Python

Простой
Дублирование логов в python logging?
- 3 подписчика
- 19 окт.
- 255 просмотров
1

ответ
Python

+1 ещё

Средний
Как сделать чтоб аккаунт писал при подписке на канал?
- 1 подписчик
- 16 окт.
- 159 просмотров
0

ответов
Python

+1 ещё

Простой
Какие есть простые легковесные LLM для локального использования?
- 2 подписчика
- 14 окт.
- 604 просмотра
2

ответа
Python

+1 ещё

Сложный
Как автоматизировать работу с сайтом используя Camoufox библиотеку?
- 2 подписчика
- 14 окт.
- 133 просмотра
0

ответов
Python

+1 ещё

Простой
FastAPI Prometheus_fastapi_instrumentator где мне следует разместить?
- 1 подписчик
- 09 окт.
- 147 просмотров
1

ответ
Python

+1 ещё

Простой
Пытаюсь пропустить число 10 двумя способами.(правильный второй код) Почему эти два кода дают разный результат?
- 1 подписчик
- 09 окт.
- 563 просмотра
2

ответа
Python

+2 ещё

Простой
В каком слое DTO объект преобразовывать в словарь перед сохранением в БД?
- 1 подписчик
- 08 окт.
- 149 просмотров
2

ответа
Показать ещё Загружается…

Python Developer

Strikt

от 100 000 до 150 000 ₽

Backend Python Developer Middle/Senior

AppRoute

До 3 000 $

Python разработчик

ITK academy • Казань

от 75 000 ₽

Answer 1 · 2020-02-11 21:16:35

from lxml import etree

html  = '<html><body><p id="test">data</p></body></html>'
root = etree.fromstring(html)

print(root.xpath('.//*[@id="test"]')[0].text)

> data

Получить содержимое html для парсинга можно примерно так:

import requests

response = requests.get('http://ya.ru')
html = response.text

Answer 2 · 2020-02-11 21:17:34

0ralo @0ralo

Python backend developer

BS

Ответ написан более трёх лет назад

1 комментарий

Как получить данные из HTML тега с помощью Python?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт