Что я делаю не так?

Question

[Coder 1448]

Никак не могу одолеть сайт bablobit.ru. А точнее войти в него с помощью запросов. Я все подделал, абсолютно всё. И заголовки и xfToken. Все под копирку как в DevTools. Но не работает. Выдаёт стартовую страницу без логина.

Собственно, ЧЯДНТ?

from requests import Session
from bs4 import BeautifulSoup

from convert_headers import convert_headers

s = Session()
s.headers = convert_headers({
	"Заголовки запроса (416 б)": {
		"headers": [
			{
				"name": "Accept",
				"value": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
			},
			{
				"name": "Accept-Encoding",
				"value": "gzip, deflate, br"
			},
			{
				"name": "Accept-Language",
				"value": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3"
			},
			{
				"name": "Cache-Control",
				"value": "no-cache"
			},
			{
				"name": "Connection",
				"value": "keep-alive"
			},
			{
				"name": "Host",
				"value": "bablobit.ru"
			},
			{
				"name": "Pragma",
				"value": "no-cache"
			},
			{
				"name": "Upgrade-Insecure-Requests",
				"value": "1"
			},
			{
				"name": "User-Agent",
				"value": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0"
			}
		]
	}
})

r = s.get('https://bablobit.ru/index.php?login/')

data = {
    'login': 'user',
    'password': 'pass',
    '_xfRedirect': '/index.php',
    '_xfToken': str(BeautifulSoup(r.text, 'lxml').select_one('[name="_xfToken"]')['value'])
}

r = s.post('https://bablobit.ru/index.php?login/login=', data=data)

with open('1.html', 'w', encoding='utf-8') as f:
    f.write(r.text)

s.close()

Причём похожий сайт парсил s1.sharewood.cc. Там тоже xenoforo, но чтобы залогиниться не нужны ни headers, ни xfToken. Только логин и пароль и спокойно пускает одним запросом.

Comments

[Alexa2007]

Я все подделал

Возможно куки.... посмотри, что он шлет

[Coder 1448]

Alexa2007, У меня питонячья сессия. Там все куки сохраняются, только js не выполняется. Я в браузере без js пробовал, все прекрасно работает.

В ответ на первый запрос только куку xf_csrf шлёт. Я пытался её в headers вставить после 1 запроса, но тогда вообще ошибку безопасности второму запросу давал.

Я вывел 8 значений. 4 по первому и 4 по второму запросу. cookies headers request'а и cookies headers сессии. При первом запросе все нормально. А вот второй должен давать куки в ответе, но не даёт. Статус 200.

[Alexa2007]

Coder 1448, попробуй запринтовать headers
может там проблема...
если нет то нужен прокси на локалке, чтоб смотреть что ты шлеш и как он отвечает

[MinTnt]

Coder 1448, хех, раз для развлечения делал парсер, для авторизации на форуме (с xenforo). Толком не помню точно, но вроде там ещё нужно чекать history переадресации, а в пост запросах, учитывать WebKitBoundary. Ну вроде это было тогда для меня и не очень то и просто, но всё удалось

Answer 1

[MinTnt]

Просто в данном запросе "https://bablobit.ru/index.php?login/login" присутствует redirect. А как мы знаем, когда в пост запросе присуствует redirect, он будет возращать html.

with open('1.html', 'w', encoding='utf-8') as f:
    f.write(r.text)

Т.е. предпологаю что у тебя здесь вывелось html с окном для входа.

Для того чтоб прочитать redirect, считываем r.history. А так как обычно на подобных форумах переадресация лишь одна, то можем считываем лишь первый, а так же можно вывести headers. Обычно на подобных, но чуть усложнённых версиях, как раз в headers генерируется session , который по дефолту обычно существует 30 дней. Благодаря этому session token потом при помощи get запросов, можем получать xftoken - который обычно по дефолту существует ~12 часов, или чуть больше.

Так что для обработки пост запроса, можем использовать такой вот вид. Как раз таки в headers попадаются или токен сессии, или статус входа, не помню точно, относительно давно это было.

print(r.history[0].headers, r.history[0].text)

Update: Вот к примеру, в случае успешной авторизации, у r.status_code - будет равно 303. А в r.history[0].headers выведет что-то по типу

Set-Cookie: xf_user=85376%2CH4tard146PUjjcLAYflx8-eovp8AmraDqd0lkf-A; expires=Thu, 28-Apr-2022 08:01:40 GMT; Max-Age=31536000; path=/; secure; HttpOnly
Set-Cookie: xf_session=73Ox5QmBBLZEpYBL940YTm_iMX7u2ufR; path=/; secure; HttpOnly

Эти set-cookie, берём, и добавляем к изначальным headers--> cookie. И вуаля.

Comments

[Coder 1448]

Сделал всё по вашей инструкции

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
    "Cache-Control": "no-cache",
    "Connection": "keep-alive",
    "Host": "bablobit.ru",
    "Pragma": "no-cache",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0"
}
r1 = requests.get('https://bablobit.ru/index.php?login', headers=headers)

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
    "Cache-Control": "no-cache",
    "Connection": "keep-alive",
    "Content-Type": "application/x-www-form-urlencoded",
    "Cookie": "xf_csrf=nQ8YVOhZXb9970xS",
    "Host": "bablobit.ru",
    "Origin": "https://bablobit.ru",
    "Pragma": "no-cache",
    "Referer": "https://bablobit.ru/index.php?login/",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0"
}
headers['Cookie'] = f'xf_csrf={r1.cookies.get_dict()["xf_csrf"]}'
data = {
    'login': 'pch',
    'password': '0507Vsn1',
    '_xfRedirect': 'https://bablobit.ru/index.php',
    '_xfToken': str(BeautifulSoup(r1.text, 'lxml').select_one('[name="_xfToken"]')['value'])
}

r = requests.post('https://bablobit.ru/index.php?login/login=', headers=headers, data=data)

print(r.history)

Выводит []

[MinTnt]

Coder 1448,
во первых *забудем про этот пункт*

Во вторых, *про этот пункт тоже забудем*

В третьих, последний пост запрос неправильно построен. Что это за "login=" в конце ссылке. В пост запросе на сайте подобного не было, откуда здесь появилось.

В четвёртых, не обьязательно передавать именно все headers, обычно сайту важны лишь определенные, то же самое дело касается и куки. Можно экспериментировать в Fiddler, убирая те, что не влияют

[Coder 1448]

MinTnt, Получилось достать 303! Сейчас попробую войти.

[MinTnt]

Coder 1448, во, тогда в history сможешь достать session token. Этот session токен используется лишь в get запросах, чтоб показывать, что ты авторизован. При этом, когда генерируется get, у него в text можно найти xfToken, который используется для post запросов.
А пока, я над одной штукой подумаю

[Coder 1448]

MinTnt, Получилось войти, спасибо!

Answer 2

[Dimonchik]

Postman юный хацкер уже освоил?

Comments

[Coder 1448]

Слышал, но не пользовался. Попробую.

[Dimonchik]

сэкономишь годы

[Dimonchik]

да, там экспорт в requests тоже есть, сам загугли