Как это спарсить?

Question

bybacapitan @bybacapitan

Как это спарсить?

Нужно спарсить это но не очень понимаю как, так как нету span'a
В итоге нужно получить "Fade"

Вопрос задан более двух лет назад
170 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 2

9 комментариев

bybacapitan @bybacapitan Автор вопроса

можете подсказать почему такую ошибку выдает?

Task exception was never retrieved
future: <Task finished name='Task-9' coro=<Dispatcher._process_polling_updates() done, defined at C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py:407> exception=AttributeError("'NoneType' object has no attribute 'find'")>
Traceback (most recent call last):
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 415, in _process_polling_updates
    for responses in itertools.chain.from_iterable(await self.process_updates(updates, fast)):
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 235, in process_updates
    return await asyncio.gather(*tasks)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\handler.py", line 116, in notify
    response = await handler_obj.handler(*args, **partial_data)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\dispatcher.py", line 256, in process_update
    return await self.message_handlers.notify(update.message)
  File "C:\Users\артем\AppData\Local\Programs\Python\Python310\lib\site-packages\aiogram\dispatcher\handler.py", line 116, in notify
    response = await handler_obj.handler(*args, **partial_data)
  File "C:\Users\артем\Desktop\valorantstats\main.py", line 35, in stats
    agent = soup.find('div', attrs={'class': 'info'}).find('div').text
AttributeError: 'NoneType' object has no attribute 'find'

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

bybacapitan, значит нет div с классом info

Написано более двух лет назад
Игорь Маркин @iggor-markin

bybacapitan, потому что soup.find('div', attrs={'class': 'info'}) возвращает None

Написано более двух лет назад
bybacapitan @bybacapitan Автор вопроса

и все же, как тогда это спарсить ?

Написано более двух лет назад
AVKor @AVKor

bybacapitan, URL надо указать, а не картиночки прикладывать.

Написано более двух лет назад
bybacapitan @bybacapitan Автор вопроса

AVKor, https://tracker.gg/valorant/profile/riot/mrsnowman... из вкладки Top Agents, нужно взять имя первого агента.

Написано более двух лет назад
soremix @SoreMix Куратор тега Python
bybacapitan, у сайта есть api, чтобы не приходилось заниматься извращениями с html

Для валоранта почему-то нет, но есть запросы, которые можно вытащить

r = requests.get('https://api.tracker.gg/api/v2/valorant/standard/profile/riot/mrsnowman%23siuu/segments/agent?playlist=competitive&seasonId=3e47230a-463c-a301-eb7d-67bb60357d4f').json() print(r['data'][0]['metadata']['name'])

Если cf не вылезет. Вообще - https://qna.habr.com/q/1038438#answer_2008702
Написано более двух лет назад

bybacapitan @bybacapitan Автор вопроса

soremix, после того как делаю запрос, выдает огромный код.

[Errno Expecting value] <!DOCTYPE html>
<!--[if lt IE 7]> <html class="no-js ie6 oldie" lang="en-US"> <![endif]-->
<!--[if IE 7]>    <html class="no-js ie7 oldie" lang="en-US"> <![endif]-->
<!--[if IE 8]>    <html class="no-js ie8 oldie" lang="en-US"> <![endif]-->
<!--[if gt IE 8]><!--> <html class="no-js" lang="en-US"> <!--<![endif]-->
<head>

<title>Please Wait... | Cloudflare</title>

<meta charset="UTF-8" />
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<meta http-equiv="X-UA-Compatible" content="IE=Edge" />
<meta name="robots" content="noindex, nofollow" />
<meta name="viewport" content="width=device-width,initial-scale=1" />
<link rel="stylesheet" id="cf_styles-css" href="/cdn-cgi/styles/cf.errors.css" />
<!--[if lt IE 9]><link rel="stylesheet" id='cf_styles-ie-css' href="/cdn-cgi/styles/cf.errors.ie.css" /><![endif]-->
<style>body{margin:0;padding:0}</style>

Это только часть его.
Как это фиксить?

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

bybacapitan, искать обход cloudflare

Написано более двух лет назад

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

Простой
Почему при проверке Decimal на принадлежность возвращается false?
- 1 подписчик
- 26 минут назад
- 17 просмотров
1

ответ
Python

+1 ещё

Простой
InvalidHeader и SSLError — как исправить?
- 1 подписчик
- 11 часов назад
- 50 просмотров
2

ответа
Python

+1 ещё

Средний
Проблема с компиляцией .pyd в Nuitka: «SyntaxError: invalid or missing encoding declaration»?
- 1 подписчик
- 13 февр.
- 100 просмотров
1

ответ
Python

Простой
Как в Python удалить текст до определённых символов?
- 1 подписчик
- 12 февр.
- 168 просмотров
3

ответа
Python

Простой
Почему функция стала выдавать ошибку?
- 1 подписчик
- 12 февр.
- 192 просмотра
0

ответов
Python

+1 ещё

Простой
Удаленное подключение к SQLserver?
- нет подписчиков
- 12 февр.
- 148 просмотров
1

ответ
Python

Простой
Как в telethon узнать привязанный канал пользователя?
- 1 подписчик
- 10 февр.
- 79 просмотров
1

ответ
Python

Простой
"coroutine 'listen' was never awaited" — Как исправить?
- 1 подписчик
- 10 февр.
- 97 просмотров
1

ответ
Python

Простой
Не могу заставить код прописываться в строку, а не в столбик. Есть у кого-то предположение где я совершил ошибку и как это можно исправить?
- 1 подписчик
- 09 февр.
- 154 просмотра
3

ответа
Python

Простой
Как сформировать десктопное приложение на питоне?
- 1 подписчик
- 09 февр.
- 198 просмотров
2

ответа
Показать ещё Загружается…

Python-разработчик

Dalyoko

от 2 000 до 4 000 $

Python-разработчик

Uptrade

от 200 000 до 300 000 ₽

Backend Python Developer

Akronix • Санкт-Петербург

от 150 000 до 200 000 ₽

Docker на развертывание Django + React

16 февр. 2025, в 15:54

2500 руб./за проект

Написание нейросети на Python или C++ для анализа ЭКГ сигналов

16 февр. 2025, в 11:06

15000 руб./за проект

Поправить View Django для загрузки данных об игре

16 февр. 2025, в 11:05

1000 руб./за проект

Answer 1 · 2022-05-20 09:31:30

soremix @SoreMix Куратор тега Python

yellow

soup.find('div', attrs={'set': 'Fade'}).text
ну или

soup.find('div', attrs={'class': 'info'}).find('div').text

Ответ написан более двух лет назад

9 комментариев

Answer 2 · 2022-05-20 13:50:34

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

options = Options()
options.headless = False
options.binary_location = '/usr/bin/chromium'
driver = webdriver.Chrome(options=options)
URL = 'https://tracker.gg/valorant/profile/riot/mrsnowman%23siuu/overview'
driver.get(URL)
time.sleep(5)
html = driver.page_source
driver.quit()
soup = BeautifulSoup(html, 'lxml')
agent = soup.find('div', class_='value', set=True).text.strip()
print(agent)

Как это спарсить?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт