Как извлечь информацию из сайта?

Question

[Nikita235]

Обучаюсь парсингу.
Вот сайт: www.swhl.ru/page/1018390

Пытаюсь извлечь всю информацию с него в первозданном виде. Для этого использую код:

url = "http://www.swhl.ru/page/1018390"
r = requests.get(url=url, headers=headers)

soup = BeautifulSoup(r.text, "lxml")
description = soup.find_all("div", class_="page-text")

for element_description in description:
    one_part = element_description.find("p")[0:3]
    two_part = element_description.find("p")[3:7]
    list_description = element_description.find("li")

В итоге получается нужный мне текст, но он содержит теги, как от этого избавиться?

Answer 1

[Аркадий Гальченко]

description в твоём случае это всё ещё список объектов супа. К ним можно/нужно применить метод text, чтобы получить именно текстовую составляющую.

import requests
from bs4 import BeautifulSoup

url = "http://www.swhl.ru/page/1018390"
r = requests.get(url)

soup = BeautifulSoup(r.content, "lxml")
description = soup.find_all("div", class_="page-text")

for element in description:
    print(element.text)

Comments

[Nikita235]

Не работает. Исправил метод find_all на find и ошибка исчезла, но появился неожиданный ответ: "-1"

[Аркадий Гальченко]

Nikita235, изменил, посмотри как работать с элементами супа.

find_all возвращает список объектов класса BeautifulSoup

Перебираешь их циклом, пременяя к каждому объекту метод .text