Как открыть все ссылки из файла?

Question

[jecer_inside]

Есть файл с ссылками на сайт (пагинация не подходит)
Как пройтись по этим ссылкам, чтобы достать определенный элемент?
С помощью BeautifulSoup забрать элемент не проблема.
Не могу настроить цикл, чтобы проходилось по всем ссылкам, а не по одной.

Answer 1

[Сергей Карбивничий]

Очень просто.
main.py:

import requests
from bs4 import BeautifulSoup

with open('links.txt') as file:
	links = file.read().splitlines()

for link in links:
	response = requests.get(link)
	soup = BeautifulSoup(response.text, 'html.parser')
	print(soup.title)

links.txt:

https://qna.habr.com/q/1099328
https://qna.habr.com/q/1099326
https://qna.habr.com/q/1099320
https://qna.habr.com/q/1099316

Результат:

<title>Как удалить одинаковые ключи из словаря Python? — Хабр Q&amp;A</title>
<title>Как открыть все ссылки из файла? — Хабр Q&amp;A</title>
<title>Как отсортировать список файлов? — Хабр Q&amp;A</title>
<title>Как создать "перезапуск кода" на Python? — Хабр Q&amp;A</title>

Применение:
Разбить код на функции, добавить обработку ошибок по своему вкусу.

Comments

[jecer_inside]

Благодарю!