Как спарсить весь файл html построчно?

Question

[frontjss]

Все спарсилось в одну строку...

Comments

[Kovalsky]

Сысле? В исходном файле же должны быть переносы расставлены

[frontjss]

Никита Полевой, все равно в 1ну строку все идет

[Kovalsky]

frontjss, то есть переносы действительно существуют, но после парсинга исчезают?

[frontjss]

Никита Полевой, да

[Kovalsky]

frontjss, ну тогда было бы очень кстати указать чем конкретно вы загружаете документ, чем его парсите, и вообще какое окружение и чо творится

[frontjss]

Никита Полевой,

response = requests.get('https://yandex.ru/maps/?text=42.320976%2C%2047.57837')
text = (response.text)

f = open('str_ru_text_1.txt', encoding='utf8')
text = f.read()
print(text)

[Kovalsky]

frontjss, яндекс очень скрупулёзен в отношении своих ресурсов, все документы минифицируются донельзя. В этом документе изначально нету переносов

[frontjss]

Никита Полевой, что делать?

[Kovalsky]

frontjss, а чо надо сделать?) Документ загружается, он валиден, все работает. Нужно куда-то вывести этот документ красивенько и с переносами?

[frontjss]

Никита Полевой, да

[Kovalsky]

frontjss, ну вариантов миллион. Я бы наверное пользовался супчиком, у него есть метод prettify

Answer 1

[Владимир Куц]

Если просто нужен красивый форматированный вывод с переносами строк - то:

from bs4 import BeautifulSoup
import requests

response = requests.get('https://yandex.ru/maps/?text=42.320976%2C%2047.57837')
result = BeautifulSoup(response.text, 'html.parser').prettify()
print(result)

Comments

[frontjss]

ОШИБКА

ERROR: Command errored out with exit status 1:
     command: 'c:\users\user01\desktop\build\geoschema\venv\scripts\python.exe' -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\user01\\AppData\\Local\\Temp\\pip-install-rxtwnk2u\\BeautifulSoup\\setup.py'"'"'; __file__='"'"'C:\\Users\\user01\\AppData\\Local\\Temp\\pip-install-rxtwnk2u\\BeautifulSoup\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base pip-egg-info
         cwd: C:\Users\user01\AppData\Local\Temp\pip-install-rxtwnk2u\BeautifulSoup\
    Complete output (6 lines):
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "C:\Users\user01\AppData\Local\Temp\pip-install-rxtwnk2u\BeautifulSoup\setup.py", line 22
        print "Unit tests have failed!"
                                      ^
    SyntaxError: Missing parentheses in call to 'print'. Did you mean print("Unit tests have failed!")?
    ----------------------------------------
ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.

[Владимир Куц]

frontjss, вы пытаетесь библиотеку для 2-го питона на 3-м запустить, походу...

[Kovalsky]

frontjss, https://stackoverflow.com/questions/22301307/unit-... Искренне, ваш гугл

[frontjss]

Владимир Куц, а для 3го нет подобной либы?

[Владимир Куц]

frontjss, я привел пример работающий на Python 3.6.x

beautifulsoup4==4.8.0

Для windows можно взять отсюда: https://www.lfd.uci.edu/~gohlke/pythonlibs/

Это вы почему-то запускаете либу 2-го питона на 3-м ))