Через сайт вижу содержание тега, парсер не видит, в чём проблема?

Question

[rink0]

Сначала объясню мне нужно спарсить погоду на сегодня и на следующий день, на сегодня я сделал, а вот на следующий день нет.
id="bd2c" это вкладка с информацией о погоде на 6 число, то что мне нужно.(сегодня 5)
Но вот в чём трабл я её могу прочитать с компа только если либо перейду на вкладку с погодой на это число(6 число) либо открою ссылку которая открывает вкладку с погодой на 6 число на данный момент это вот эта
https://sinoptik.com.ru/погода-синельниково-303024...
Казалось бы всё можно для requests поставить этот url и парсить, но нет парсер видет это так

Повторюсь мне нужно увидеть

<div class="Tab" id="bd2c">что здесь находится</div>

И покажу как видит это компьютер

Помогите пожалуйста

Comments

[Сергей Горностаев]

Эти теги генерируются javascript'ом сайта.

Answer 1

[Дмитрий]

отследите лучше откуда js данные качает
и качайте напрямую (не забыв замаскироваться под браузер естественно)

Comments

[rink0]

Спасибо, помогло

[mrWan]

помню тоже похожая ситуация была, с помощь пыхи не получалось спарсить, оказалось намного проще, вырвал ссылку прямую и подставлял нужные get параметры, после чего получал json. А вообще для погоды есть много открытого API

[rink0]

mrWan, ну раз я делал парсер значит мне нужно было же без апи? :)

Answer 2

[asd111]

Погоду не нужно парсить для этого есть API https://openweathermap.org/api. Ещё для python есть готовая библиотека https://github.com/csparpa/pyowm

На requests можно сделать так, только надо зарегистрироваться чтобы получить APIKEY.
Поиск города:

import requests
s_city = "Petersburg,RU"
city_id = 0
appid = "APIKEY полученный после регистрации по ссылке https://home.openweathermap.org/users/sign_up"
try:
    res = requests.get("http://api.openweathermap.org/data/2.5/find",
                 params={'q': s_city, 'type': 'like', 'units': 'metric', 'APPID': appid})
    data = res.json()
    cities = ["{} ({})".format(d['name'], d['sys']['country'])
              for d in data['list']]
    print("city:", cities)
    city_id = data['list'][0]['id']
    print('city_id=', city_id)
except Exception as e:
    print("Exception (find):", e)
    pass

Текущая погода :

try:
    res = requests.get("http://api.openweathermap.org/data/2.5/weather",
                 params={'id': city_id, 'units': 'metric', 'lang': 'ru', 'APPID': appid})
    data = res.json()
    print("conditions:", data['weather'][0]['description'])
    print("temp:", data['main']['temp'])
    print("temp_min:", data['main']['temp_min'])
    print("temp_max:", data['main']['temp_max'])
except Exception as e:
    print("Exception (weather):", e)
    pass

Прогноз на 5 дней:

try:
    res = requests.get("http://api.openweathermap.org/data/2.5/forecast",
                           params={'id': city_id, 'units': 'metric', 'lang': 'ru', 'APPID': appid})
    data = res.json()
    for i in data['list']:
    print( i['dt_txt'], '{0:+3.0f}'.format(i['main']['temp']), i['weather'][0]['description'] )
except Exception as e:
    print("Exception (forecast):", e)
    pass