Ответы пользователя по тегу Парсинг
  • Парсинг открытия сайта по javascript event?

    @duff89
    Попробуйте так:
    elem = driver.find_element.......
    driver.execute_script("arguments[0].click();", elem)
    Ответ написан
  • Парсинг сайта Яндекс.Музыка на Python, как?

    @duff89
    Вот реальный код, только что написан и проверен, защиты там нет:
    import requests
    
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,fi;q=0.6,nb;q=0.5,is;q=0.4,pt;q=0.3,ro;q=0.2,it;q=0.1,de;q=0.1',
        'Connection': 'keep-alive',
        'Referer': 'https://music.yandex.ru/chart',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36',
        'X-Current-UID': '403036463',
        'X-Requested-With': 'XMLHttpRequest',
        'X-Retpath-Y': 'https://music.yandex.ru/chart',
        'sec-ch-ua': '"Not?A_Brand";v="8", "Chromium";v="108", "Google Chrome";v="108"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Linux"',
    }
    
    params = {
        'what': 'chart',
        'lang': 'ru',
        'external-domain': 'music.yandex.ru',
        'overembed': 'false',
        'ncrnd': '0.23800355071570123',
    }
    response = requests.get('https://music.yandex.ru/handlers/main.jsx', params=params, headers=headers)
    chart = response.json()['chartPositions']
    for track in chart:
        position = track['track']['chart']['position']
        title = track['track']['title']
        author = track['track']['artists'][0]['name']
        print(f"N-{position} - {title} - {author}")

    Выход:
    N-1 - ЗА ДЕНЬГИ ДА - INSTASAMKA
    N-2 - Отключаю телефон - INSTASAMKA
    N-3 - Komarovo - DVRST
    N-4 - Кукла колдуна - Король и Шут
    N-5 - Ножевой - A.V.G
    N-6 - Лесник - Король и Шут
    ...
    Ответ написан
    2 комментария
  • Парсер на VPS получает код ответа 403. Как исправить?

    @duff89
    Я так понимаю Авито не нравится, что его парсят с сервера. Попробуйте использовать прокси
    Ответ написан
    Комментировать