@SerjLore

Парсинг более 1-ой страницы?

Здравствуйте.
Есть ли способ парсить более 1-ой страницы фото на сайте imgur?

Так-же код:
from bs4 import BeautifulSoup as bs
import requests

def save():
	with open('C:/konosuba_par.txt', 'a') as file:
		file.write(f'>Link: {comp["image"]}\n')

def parse():
	URL = 'https://imgur.com/search/score?q=konosuba'
	HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36 Edg/85.0.564.41'}

	responce = requests.get(URL, headers = HEADERS)
	soup = bs(responce.content, 'html.parser')
	items = soup.findAll('div', class_ = 'post')
	comps = []

	for item in items:
		comps.append({
			'post': item.find('a', class_ = 'image-list-link').get_text(strip = True),
			'image': item.find('img').get('src')
			})

	global comp
	for comp in comps:
		print(f'Link: {comp["image"]}\n')
		save()

parse()
  • Вопрос задан
  • 81 просмотр
Решения вопроса 1
@AlexBoss
Способ есть, в зависимости от ваших умений и желания.
1) через потоки concurrent.future библиотека хорошая
2) все переписать на асинхронном
Если встает подобный вопрос, лучше воспользоваться первым вариантом
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 150 000 до 200 000 ₽
OnederX Москва
от 100 000 до 120 000 ₽
Кенарий Санкт-Петербург
от 120 000 до 250 000 ₽
24 сент. 2020, в 02:31
700 руб./в час
24 сент. 2020, в 01:04
20000 руб./за проект
23 сент. 2020, в 23:49
500 руб./за проект