Как получить правильный ответ при запросе через requests?

Question

[sharkyyy3]

import requests
    from bs4 import BeautifulSoup
    from fake_useragent import UserAgent
    import time

    session = requests.Session()

    headers = {'User-Agent': UserAgent().chrome}
    r = session.get("https://ssstik.io/ru", headers=headers)

    soup = BeautifulSoup(r.content.decode(), 'html.parser')
    for e in soup.find_all("form"):
        str_post = e.get('data-hx-post')
        str_e = e.get('include-vals')
        res = {sub.split(":")[0]: sub.split(":")[1].replace("'", "") for sub in str_e.split(", ")}

    
    data = {'id': "https://www.tiktok.com/@sonyakisa8/video/6831059289537318149", 'local': 'ru'}

    data.update(res)
    r = session.post(f"https://ssstik.io{str_post}",headers=headers, data=data, timeout = 500)

    print("sst", r, r.content)

Возвращает пустой ответ, хотя там должны быть ссылки.

Comments

[Saboteur]

почему бы просто ссылку не указать, по которой обращается?

Answer 1

[PrAw]

1. Скорей всего еще какие-то заголовки не учитываете, как минимум куки, которые сайт ставит при первом заходе на страницу, потом content-type. Перехватите запрос в инструментах разработчика в браузере и имитируйте.

2. ответ устарел уже так нельзя https://habr.com/ru/post/511796/

3. Если перед отправкой второго запроса дополнить заголовки:

headers['hx-active-element'] = 'submit'
headers['hx-current-url'] = 'https://ssstik.io/ru'
headers['hx-request'] = 'true'
headers['hx-target'] = 'target'

то второй запрос возвращает результат. Дальше уже продолжайте ковыряться.
Следите за всеми заголовками, которые улетают в браузере и проверяйте их необходимость.

Comments

[sharkyyy3]

1.Пробовал, делал чисто на куки и другой информации из браузера , результат тот же.
2. Этот способ не работает, этот тэг "application/ld+json" id="videoObject" не находит. Максимум что мне там удалось найти, так эту музыку mp3 из видео. И ссылка из «contentUrl» должна заканчиватся на ".mp4"?

[PrAw]

sharkyyy3, структура страницы сильно поменялась за это время
downloadAddr зовется сейчас параметр
причем пришлось имитировать много заголовков, чтобы скачать страницу с тиктока

[sharkyyy3]

PrAw, да я уже его нашел. Ну туда доступ запрещен. Можешь подсказать какие заголовки нужно имитировать?

[PrAw]

sharkyyy3, в хроме в инструментах разработчика можно запрос скопировать как curl (bash)
пихаете их в дикт, проверяете из requests
Довольно часто ссылки на ключевые вещи генерятся одноразовые - если браузер скачал страницу, то обращение к данным уже было, ссылка повторно не отдастся. Элемент защиты от скачивателей.
Полный цикл повторять ручками - запрос страницы, учет поставленных кукисов, вытаскивание ссылки на медиа, скачивание

[sharkyyy3]

PrAw, Т.е нужно скопировать как curl (bash) и подставить это в headers и сделать запрос? Или как?
Извините за глупые вопросы, просто первый раз с таким сталкиваюсь.

[PrAw]

sharkyyy3, на основании этого, внимательно поглядывая в свой здравый смысл, собрать из этих данных dict headers

[sharkyyy3]

PrAw,

headers = {
'authority': 'www.tiktok.com',
'cache-control': 'max-age=0',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'sec-fetch-site': 'none',
'sec-fetch-mode': 'navigate',
'sec-fetch-user': '?1',
'sec-fetch-dest': 'document',
'accept-language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cookie': 'tt_webid=6908780552025048581; tt_webid_v2=6908780552025048581; tt_csrf_token=OdyRs1coLB0lMNb8N_OZTujV; bm_sz=6D793FF3D914E1F811E3E30E1854C327~YAAQzmgjF/RyB1l3AQAASPYHkArNnpwGKSkh/vZp7mgmCjS6m7XEfGWUtU8Qbz4yP+nwNMb9EvjsgMlG/fMbdLnEX+g2vgSbU9RydQHx1ybwlvsNfYGOF9zx8KzQfTekWXvaY+4GQXbqu4bdSL+e6Rp1emQ9eNmiOAzzD0pge0rVcULumiAS68A5vdfn3vfy; csrf_session_id=ea4f00bd7a7c499cb78a8a251e907584; MONITOR_WEB_ID=6908780552025048581; _abck=1822AB6CBDD4E149B7E7A23BBA1F0E62~0~YAAQzmgjFwBzB1l3AQAAPvkHkAUjhkGsUk/9O+GwX+KijraWT53uvwWQ7rSjJ5N7cSCq82DWROBf/xDcQOX4PW+5WXCExAJJdzbW6bzf4ryerLp7OGzQpMnKGOjmDySVEYEAUhrUs5v1RYrPiC+yMd2bQES6t2DLvcjR3c7mJW5mcyfjEVO/shjW21LLzbArTD5qAEV8gosAVNXLgx/gbfPs96St0Wvan99O7jWNLW2T1gSVEcBl3umsNZaiE8CtG2vyrzlFRb9eA5ITpqME3gcMoekEyW2KByhXdNGzsjQJaDuHRNpgwSxgCoRZwP3Dzc4b3ooDvHYd+OggSLe+PVwg7U840g==~-1~||1-eiCfsDdNWn-1-10-1000-2||~-1; ak_bmsc=5197FF6C00FF90119841458103349C86172368CEB53F000038DF2460DA9A536D~plsrRpDwUQwmZurF5TgD3ZWCvCJbzWaLqQlWjJViXXk57ZTlAzt2Cd/JvFbf7JRRgoF4I9YZbqOclxNfRPhZ+NcG9gbW8uZSYvJvR+K5tCC7Bep3vaM86rz0QVMBw4GUf3snjfk39sVSs13quCKh87sWu2HHZqPExdea6oP7k1Zgm4+lNNsQvx33DuG5E5Ht44GrgjNwBU70WITJX9I/HUl+361o2MK/rtoAYPfdA/r75U0H0kdrMwxqka/vp9kTph; R6kq3TV7=AIb5B5B3AQAAcotFQoLLTvG4UOJAqLzGV6n76G98hd5xeH3uO8BalshTkJCe|1|0|12fee6d79f0b1e7e31f042523389dc708bf7ac81; s_v_web_id=verify_kl0jxaa3_mcua199m_1WiC_4jZs_9jRZ_tGWJPpIyc68u; bm_sv=A2BAD33DA04EDBE61888300E9F54D585~27SwqkQBcMsgGCzDzWJRCuBKWhYajGn+7mOgqxZ0dpXBmf21aS6XHvVAcLhfo3DFnK4Ea31j+VIYk6hkQyECDLdfveveDz7Iurv3tvG4PY4+Ky8c9wEGdfkuxSX62wr1QnsOVRmPIyuwvhYbCWDigljIFFAQN+GAHDE7WXU5LQU='

    }
r = session.get("https://www.tiktok.com/@sonyakisa8/video/6831059289537318149", headers=headers)

Я собрал заголовок, сделал с ним запрос, получил все ту же страницу с той самой ссылкой к которой нет доступа.

[PrAw]

sharkyyy3, сдаюсь.
тикток хорошо доработал систему прикрытия от ботов с прошлого раза.
в ссылке на странице есть expire, а в запросе Vexpire, вместо signature шлётся Vsignature с другим контентом.
Можно конечно на selenium всё переложить, но это немного оверкилл

[PrAw]

sharkyyy3, а вот с исходным вопросом -исправил ответ, теперь пускает дальше.

[sharkyyy3]

PrAw,

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import time

session = requests.Session()

headers = {'User-Agent': UserAgent().chrome}
r = session.get("https://ssstik.io/ru", headers=headers)

soup = BeautifulSoup(r.content.decode(), 'html.parser')
for e in soup.find_all("form"):
    str_post = e.get('data-hx-post')
    str_e = e.get('include-vals')
    res = {sub.split(":")[0]: sub.split(":")[1].replace("'", "") for sub in str_e.split(", ")}

data = {'id': "https://www.tiktok.com/@sonyakisa8/video/6831059289537318149", 'local': 'ru'}

data.update(res)
headers['hx-active-element'] = 'submit'
headers['hx-current-url'] = 'https://ssstik.io/ru'
headers['hx-request'] = 'true'
headers['hx-target'] = 'target'
r = session.post(f"https://ssstik.io{str_post}", headers=headers, data=data)


print("sst", r, r.content)

Я уже передавал так headers, результат пустой ответ с статус кодом 200

[PrAw]

PrAw,
да, еще у Вас опечатка в locale
плюс лучше использовать r.text. это уже обычная строка, с которой можно привычно работать и декодить её уже не надо.

[sharkyyy3]

PrAw, огромное спасибо, из-за своей невнимательности потратил целые сутки