Почему ответ из request, появляется только после того как зашёл сайт, с которого и пытаемся получить ответ через запрос, а так он пуст?

Question

[Андрей]

Допустим есть link = 'https://copart.com/6278364', и этой странице есть просто данные которые нужно вытащить, объектом json, но при запросе через requests, ответ пуст, а если СНАЧАЛА зайти на тот же сайт "руками" с браузера, а потом заново сделать запрос, то ответ отдаст интересующий json словарь данных.

Подскажите почему так происходит, не смотря на то, что я заголовок(голову), тяну тот же что и делается при запросе по линку один в один... а куки я тяну через запрос на тот же сайт, то есть сначало просто, чтобы получить куки, а потом для этого же запроса, использую их через session.

Может я что-то не понимаю (.
Третий день бьюсь

Answer 1

[Sergo_iv]

Если вам нужно прям войти
Мне кажется post запрос вам
Я пользовался им в таком плане:

with requests.Session() as session:

        if method==0:
            response = session.post(login_url, data={"guest": "Войти гостем"})
        elif method==1:
            payload = {
                "wauto": '1',
                "wname": login,
                "wpass": password,
                "auth": "Войти"
            }
            response = session.post(login_url, data=payload, verify=True)

Comments

[Андрей]

обращаться к главной странице сервера за логином? чтобы меня запомнили?

Answer 2

[Vindicar]

Потому что сайт трекает кто заходит? "Ага, это вроде действительно браузер... считаем этот IP человеком на ближайшие N минут."

Comments

[Андрей]

да, на нем есть инкапсула, но я нашел как ее обойти, он дает доступ к сайту, но всё еще скрывает содержимое, и там тэг боди пустой(((

Answer 3

[kostynth]

Мож использовать Selenium вместо request? Почти все коммерческие сайты (по крайней мере те, у кого большой трафик) используют разные алгоритмы для борьбы с парсерами. Запросы с помощью request , по моему опыту, не проходят совсем. Парсил американский сайт вакансий, request - такая же ситуация как у вас. С selenium + chromedriver всё норм.

Comments

[Андрей]

с радостью бы, но интеграция будет с телеграм ботом, и им будут пользоваться около 20 человек, и если мы запустим столько браузеров, если они будут работать (смотреть) одновременно, это будет смерть для сервера, да и без понятия как их уникализировать.
я думал об этом конечно же, но у меня будет много пользователей, поэтому сразу отсеил(

можете предложите альтернативу решения?