Ответы пользователя по тегу Парсинг
  • Как с помощью Selenium правильно спарсить данные сайта, подгружаемые динамически?

    @R4ndolphC4rter Автор вопроса
    Программно у меня не прогружаются блоки (содержащии видео)
    <div class="jsx-1410658769 video-feed-item">
    ...
    </div>


    Из-за чего проблема? Как можно было бы исправить?

    02.02.2020 (дата палиндром, кста)
    Покопавшись по сайту обнаружил, что нужные мне id видео, а так же дополнительная информация о видео приходит в формате json (в пачке из 30 штук) по requests get запросу на адрес
    https://m.tiktok.com/share/item/list?secUid=MS4wLjABAAAAel1W8SHY_s5E-E8fS9SFwEGKTV4TqtP-GotZf737nudl9M5gm99Pk_8bp8A0UXS8&id=6568346904743116806&type=1&count=30&minCursor=0&maxCursor=0&shareUid=&lang=&_signature=N5.bMAAgEBaTTMphzSDYUTef2iAAGmv


    В этой ссылке передаются различные параметры.
    Важные из них:
    &maxCursor=N
    &_signature=LONG_STRING
    Если делать запрос без правильной сигнатуры, то json файл будет, грубо говоря, пуст. Никакой нужной информации.

    Так что теперь стоит другой вопрос. А именно: как подделать tiktok сигнатуру?
    Но этот вопрос не относится к данной теме, а потому (и не только) считаю эту тему закрытой. Спасибо всем, кто помогал.
    Ответ написан
    Комментировать
  • Python Requests Как авторизоваться на сайте?

    @R4ndolphC4rter Автор вопроса
    ВСЕМ СПАСИБО! ВОПРОС ЗАКРЫТ.
    r1 = s.post(URL_LOG, data=data, headers=headers)
    URL_LOG - константа.
    data - словарь, динамичными значениями которого являются login & password, authURL.
    headers - словарь, динамичным значением (текстовой переменной) которого является cookies.
    Все остальные элементы словарей являются статичными и вытащены прямиком с сайта через консоль разработчика.
    Ответ написан
  • Telegram Bot и парсинг Вк с Украины?

    @R4ndolphC4rter
    Может, попробовать установить VPN на компьютер? Для тестов самое то. В похожих ситуациях я использовал windscribe.
    Ответ написан
    1 комментарий