Как это спарсить?

Question

bybacapitan @bybacapitan

Как это спарсить?

Нужно спарсить это но не очень понимаю как, так как нету span'a
В итоге нужно получить "Fade"

Вопрос задан более двух лет назад
164 просмотра

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 2

9 комментариев

bybacapitan @bybacapitan Автор вопроса

можете подсказать почему такую ошибку выдает?

Task exception was never retrieved
future: <Task finished name='Task-9' coro=<Dispatcher._process_polling_updates() done, defined at C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py:407> exception=AttributeError("'NoneType' object has no attribute 'find'")>
Traceback (most recent call last):
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 415, in _process_polling_updates
    for responses in itertools.chain.from_iterable(await self.process_updates(updates, fast)):
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 235, in process_updates
    return await asyncio.gather(*tasks)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\handler.py", line 116, in notify
    response = await handler_obj.handler(*args, **partial_data)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 256, in process_update
    return await self.message_handlers.notify(update.message)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\handler.py", line 116, in notify
    response = await handler_obj.handler(*args, **partial_data)
  File "C:\Users\артем\Desktop\valorantstats\main.py", line 35, in stats
    agent = soup.find('div', attrs={'class': 'info'}).find('div').text
AttributeError: 'NoneType' object has no attribute 'find'

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

bybacapitan, значит нет div с классом info

Написано более двух лет назад
Игорь Маркин @iggor-markin

bybacapitan, потому что soup.find('div', attrs={'class': 'info'}) возвращает None

Написано более двух лет назад
bybacapitan @bybacapitan Автор вопроса

и все же, как тогда это спарсить ?

Написано более двух лет назад
AVKor @AVKor

bybacapitan, URL надо указать, а не картиночки прикладывать.

Написано более двух лет назад
bybacapitan @bybacapitan Автор вопроса

AVKor, https://tracker.gg/valorant/profile/riot/mrsnowman... из вкладки Top Agents, нужно взять имя первого агента.

Написано более двух лет назад
soremix @SoreMix Куратор тега Python
bybacapitan, у сайта есть api, чтобы не приходилось заниматься извращениями с html

Для валоранта почему-то нет, но есть запросы, которые можно вытащить

r = requests.get('https://api.tracker.gg/api/v2/valorant/standard/profile/riot/mrsnowman%23siuu/segments/agent?playlist=competitive&seasonId=3e47230a-463c-a301-eb7d-67bb60357d4f').json() print(r['data'][0]['metadata']['name'])

Если cf не вылезет. Вообще - https://qna.habr.com/q/1038438#answer_2008702
Написано более двух лет назад

bybacapitan @bybacapitan Автор вопроса

soremix, после того как делаю запрос, выдает огромный код.

[Errno Expecting value] <!DOCTYPE html>
<!--[if lt IE 7]> <html class="no-js ie6 oldie" lang="en-US"> <![endif]-->
<!--[if IE 7]>    <html class="no-js ie7 oldie" lang="en-US"> <![endif]-->
<!--[if IE 8]>    <html class="no-js ie8 oldie" lang="en-US"> <![endif]-->
<!--[if gt IE 8]><!--> <html class="no-js" lang="en-US"> <!--<![endif]-->
<head>

<title>Please Wait... | Cloudflare</title>

<meta charset="UTF-8" />
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<meta http-equiv="X-UA-Compatible" content="IE=Edge" />
<meta name="robots" content="noindex, nofollow" />
<meta name="viewport" content="width=device-width,initial-scale=1" />
<link rel="stylesheet" id="cf_styles-css" href="/cdn-cgi/styles/cf.errors.css" />
<!--[if lt IE 9]><link rel="stylesheet" id='cf_styles-ie-css' href="/cdn-cgi/styles/cf.errors.ie.css" /><![endif]-->
<style>body{margin:0;padding:0}</style>

Это только часть его.
Как это фиксить?

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

bybacapitan, искать обход cloudflare

Написано более двух лет назад

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

+1 ещё

Средний
Как обойти блокировку Cloudflare при запросах python?
- 1 подписчик
- час назад
- 9 просмотров
0

ответов
Python

+1 ещё

Простой
Как свободно ходить по дереву json в обоих направлениях?
- 1 подписчик
- 18 часов назад
- 118 просмотров
1

ответ
Python

+2 ещё

Простой
Ошибка при нажатии кнопки «Next», (Instagram, Selenium) Как исправить?
- 1 подписчик
- вчера
- 67 просмотров
2

ответа
Python

Простой
Почему self интерпретируется как None в ходе инициализации __init__?
- 1 подписчик
- вчера
- 104 просмотра
3

ответа
Python

+1 ещё

Простой
Как исправить ошибку тг бота?
- 1 подписчик
- вчера
- 99 просмотров
1

ответ
Python

+1 ещё

Простой
Откуда брать mg_geo_id / city_code?
- нет подписчиков
- 30 янв.
- 62 просмотра
0

ответов
Python

+2 ещё

Простой
Как авторизоватся на сайте pikabu с python?
- 1 подписчик
- 30 янв.
- 112 просмотров
0

ответов
Python

+2 ещё

Простой
Можно ли скачать лайкнутые медиа с Twitter, начиная с определённого твита?
- 1 подписчик
- 29 янв.
- 49 просмотров
0

ответов
Python

+2 ещё

Простой
[Python + pywin32] Как эмулировать движения курсора, клики кнопками мыши и нажатия клавиш клавиатуры в игре WoT?
- 1 подписчик
- 29 янв.
- 122 просмотра
2

ответа
Python

Средний
Как ускорить сканирование python?
- 1 подписчик
- 27 янв.
- 172 просмотра
1

ответ
Показать ещё Загружается…

Python-разработчик

Uptrade

от 200 000 до 300 000 ₽

Python developer

Greenway Global • Новосибирск

от 150 000 ₽

Backend Python Developer

Akronix • Санкт-Петербург

от 150 000 до 200 000 ₽

Верстка блоков

01 февр. 2025, в 17:40

1500 руб./за проект

Исправление замечаний в картографической базе данных Arcgis

01 февр. 2025, в 16:59

4000 руб./за проект

Автоматический ввод текста в поля сайта

01 февр. 2025, в 16:04

2000 руб./за проект

Answer 1 · 2022-05-20 09:31:30

soremix @SoreMix Куратор тега Python

yellow

soup.find('div', attrs={'set': 'Fade'}).text
ну или

soup.find('div', attrs={'class': 'info'}).find('div').text

Ответ написан более двух лет назад

9 комментариев

Answer 2 · 2022-05-20 13:50:34

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

options = Options()
options.headless = False
options.binary_location = '/usr/bin/chromium'
driver = webdriver.Chrome(options=options)
URL = 'https://tracker.gg/valorant/profile/riot/mrsnowman%23siuu/overview'
driver.get(URL)
time.sleep(5)
html = driver.page_source
driver.quit()
soup = BeautifulSoup(html, 'lxml')
agent = soup.find('div', class_='value', set=True).text.strip()
print(agent)

Как это спарсить?

Войдите, чтобы написать ответ

Как обойти блокировку Cloudflare при запросах python?

Как свободно ходить по дереву json в обоих направлениях?

Ошибка при нажатии кнопки «Next», (Instagram, Selenium) Как исправить?

Почему self интерпретируется как None в ходе инициализации init?

Как исправить ошибку тг бота?

Откуда брать mg_geo_id / city_code?

Как авторизоватся на сайте pikabu с python?

Можно ли скачать лайкнутые медиа с Twitter, начиная с определённого твита?

[Python + pywin32] Как эмулировать движения курсора, клики кнопками мыши и нажатия клавиш клавиатуры в игре WoT?

Как ускорить сканирование python?

Минуточку внимания

Как это спарсить?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт