Python Requests. Можно ли залогиниться на сайт с невидимой капчей re_captcha?

Question

[Lucker_Kophe]

Хочу залогиниться на сайт с невидимой re_captcha для парсинга пользовательских данных. Вход на сайт происходит с ведома пользователя. В парсинге новичок, и не знаю как войти на сайт с такой капчей. Возможно ли это? Может это можно обойти зная определенные cookie?

Answer 1

[maksam07]

TOKEN, EMAIL, PASS - на свои значения. Код рабочий, проверено

#!!! pip3 install 2captcha-python

import requests
from bs4 import BeautifulSoup
from twocaptcha import TwoCaptcha


def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    item = soup.find('input', attrs={'name': '_csrf_token'})
    csrf = item['value']
    return csrf


solver = TwoCaptcha('TOKEN')
g_recaptcha = ''
try:
    result = solver.recaptcha(
        sitekey='6LftX68ZAAAAAOvXzEPz4lx9jgzfHdU3uVj-ptKT',
        url='https://3ddd.ru/login',
        invisible=1)

except Exception as e:
    exit(e)
else:
    g_recaptcha = result['code']

header = {
    # 'user-agent': user
}

url = 'https://3ddd.ru/login'
url_form = 'https://3ddd.ru/login_check'

loging = requests.get(url, headers=header)
loging_cookies = loging.cookies
login_csrf = get_content(loging.text)

datas = {
    '_username': 'EMAIL',
    '_password': 'PASS',
    '_csrf_token': login_csrf,
    'g-recaptcha-response': g_recaptcha,
}

loging2 = requests.post(url_form, data=datas, headers=header, cookies=loging_cookies)
print(loging2.text)

Comments

[Lucker_Kophe]

Можете, пожалуйста, подсказать. Откуда взять токен?

[maksam07]

Lucker_Kophe, https://rucaptcha.com/ или https://2captcha.com/ - один и тот же сайт

Answer 2

[Влад]

Можно, при использовании сервисов по разгадыванию капчи

Comments

[Lucker_Kophe]

Разве такие сервисы могут обойти невидимую ReCAPTCHA Invisible, которая определяет робота/человека по их действиям? Если да, то можете, пожалуйста, посоветовать такой сервис?

[maksam07]

Lucker_Kophe, разве невидимая капча, когда предполагает что ты робот, не становится видимой? пользователю же нужно как-то подтвердить, что он не робот

[Lucker_Kophe]

Максим Компаниец, Нет, ReCAPTCHA Invisible, определяет робота/человека исключительно по его действиям. На сайте в который я пытаюсь залогиниться такая установлена на форме входа и показывает свое существование в виде флажка снизу.


И мне нужно залогинится на этот сайт для дальнейшего парсинга. Можно ли организовать взаимодействие человека для ручного входа и бота для дальнейшего парсинга? Или куки какие-нибудь отправить для того чтобы определило как уже залогиненного?

[maksam07]

Lucker_Kophe, вы определили в каком случае капча не дает сделать какое-либо действие?

[Lucker_Kophe]

Максим Компаниец, Я пытался залогиниться с помощью библиотеки Requests, пытался отправлять куки, пост запросы с паролем и логином, но бот остается на той же странице как не залогиненный.

[maksam07]

Lucker_Kophe, какие данные меняются, когда получаешь ответ после "авторизации"? Сомнительно, что возвращается полностью такая же страница

[Lucker_Kophe]

Максим Компаниец, Я сохраняю результат страницы в виде блокнота, и из отличий с оригинальной страницей, вот такая ошибка с зашифрованными данными:

<div id="content"><div id="avtorisation_page"><h2 class="avtorisation">�����������</h2><form action="/login_check" method="post" id="autorisation_form_1"><input type="hidden" name="_csrf_token" value="AwlIWckTA3OCk-qCEEtTg-IwUtGsiDZF0HqqrIPlXJQ" /><dl><dt>&nbsp;</dt><dd class="form_error">
                                ������ CSRF
                            </dd><dt>&nbsp;</dt><dd class="form_error1">
                            � ����� ������������ �� ��������� ����������� ����� �� �������. ����������� email ��� �����.
                        </dd><dt><label for="aut_login">Email</label></dt><dd><input type="email" class="text_button" id="username" name="_username" value="" required="required" pattern="([a-zA-Z0-9_.+-])+\@(([a-zA-Z0-9-])+\.)+([a-zA-Z0-9]{2,4})+$"></dd><dt><label for="aut_password">������</label></dt><dd><input type="password" class="text_button" id="password" name="_password" required="required" autocomplete="off"></dd></dl><input type="hidden" id="sky_user_login__remember_me" name="sky_user_login[_remember_me]" value="on" /><div class="butons"><button type="submit" class="sub_button_green unactive button_grey g-recaptcha" disabled id="login_form_submit"
                            data-sitekey="6LftX68ZAAAAAOvXzEPz4lx9jgzfHdU3uVj-ptKT"
                            data-callback='onSubmit'
                            data-action='submit'>�����</button><span class="forget_password"><a href="/resetting/request">������ ������?</a></span></div><div class="register">��� �� ������������������? <a href="/register/register">������������������ ������</a></div></form></div></div>
                        <div id="sidebar" >
                            </div>
            
            
            <div class="pfooter"></div>

Также, почти все данные внутри контейнеров отображаются как вопросы.

[maksam07]

Lucker_Kophe, попробуй поиграться с кодировкой. Могу предположить, что у тебя кирилица не правильно отображается
Какие данные ты отправляешь по адресу /login_check ?

[Lucker_Kophe]

Максим Компаниец,

Логин, пароль, и рандомно сгенерированного пользователя модулем fake_useragent, как хедер

datas = {
 '_username':'def',
 '_password':'def'
}

header = {
    'user-agent': user
}

[maksam07]

Lucker_Kophe, попробуй отправить еще "_csrf_token".

Твой план примерно такой:
1. Делаешь гет запрос на адрес /login_check
1.1. Парсишь html ответ, конкретно - получаешь значение у name="_csrf_token"
1.2. Сохраняешь куки в переменную
2. Делаешь пост запрос на /login_check :
datas = {
'_username': 'def',
'_password': 'def',
'_csrf_token': 'значения из пункта 1.1.',
}
и вместе с куками из пункта 1.2.

[Lucker_Kophe]

Максим Компаниец, Правильно ли я понял, что _csrf_token мне нужно брать из куки. Я сделал гет запрос, и при переборе куки и их вывода результат только такой:
('frontsrv', 'f230')

[maksam07]

Lucker_Kophe,

spoiler

[Lucker_Kophe]

Максим Компаниец,
1. При гет запросе меня кидает на страницу 404, а при post работает исправно
1.1 Значение получил
1.2 Куки которые я получаю при запросе только такие: ('frontsrv', 'f230'), их отправлять?

[maksam07]

Lucker_Kophe,
1. Тогда просто на странице авторизации (где форма ввода данных) найди в исходнике где-то _csrf_token. Скорее всего там он явно будет, но возможно с чуть другим именем.
1.2 Если других кук нет, то наверное не нужно. Я думал обнаружить там что-то типа идентификатора клиента, но видимо там его нет. А значит для авторизации должно быть достаточно csrtf токена

[Lucker_Kophe]

Максим Компаниец, Под исходникам я подразумеваю страницу в браузере. Получается, мне нужно найти его там и скопировать в свой код?

[maksam07]

Lucker_Kophe, просто меняется один пункт в Python Requests. Можно ли залогиниться на сайт с невидимой капчей re_captcha?
1. Делаешь гет запрос на страницу с формой авторизации
...
Просто я думал, что адрес /login_check и есть форма авторизации, но как я понял далее - нет
Все остальные пункты скорее всего такие же

[Lucker_Kophe]

Максим Компаниец, Понятно. А можете, подсказать, как исправить отображение кириллицы?

[maksam07]

Lucker_Kophe, если ссылку дашь, то проверю пару вариантов. Просто я точно не знаю какой сработает и сработает ли

[Lucker_Kophe]

Максим Компаниец, Хорошо - https://3ddd.ru/login

[maksam07]

Lucker_Kophe,
У меня, например, нет никаких проблем с кодировкой при выводе в консоль. Скорее всего проблема в кодировке файла, в котором сохраняешь вывод. С ним нужно поиграться

spoiler

[Lucker_Kophe]

Максим Компаниец, Проверил, у меня при выводе в консоль тоже все ок, видимо ошибка именно при записи в txt файл. Всю работу по вашему списку я проделал, но к сожалению остаюсь на той же странице. На всякий случай прикреплю код, вдруг ошибка тут.

import requests
import fake_useragent
from bs4 import BeautifulSoup

user = fake_useragent.UserAgent().random

datas = {
 '_username':'def',
 '_password':'def',
 '_csrf_token':'def'
}

header = {
    'user-agent': user
}

url = 'https://3ddd.ru/login'
url_form = 'https://3ddd.ru/login_check'
s = requests.Session()
loging = requests.get(url, headers=header)

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    item = soup.find('input', attrs={'name': '_csrf_token'})
    csrf = item['value']
    return csrf

datas['_username']  = '*****'
datas['_password'] = '******'
datas['_csrf_token'] = get_content(loging.text)

loging2 = s.post(url_form, data = datas, headers=header)

[Влад]

Lucker_Kophe, насколько я помню, это reCAPTCHA v3, решить можно с помощью этого сервиса. Лично на нем пробовал только v2, но работает тем не менее отлично