Как авторизоваться на сайте ycharts.com через Python?

Question

[Torsionov]

Подскажите, пожалуйста, как правильно авторизоваться на таком сайте?
Пробовал несколько вариантов, на выходе в BeautifulSoup видна все та же страница авторизации:

url = 'https://ycharts.com/login'
login = "login"
password = "password"

session = requests.Session()
auth = HTTPBasicAuth(login, password)
data = {"username":login,"password":password}
r = session.post(url=url, json=data)

s = requests.Session()
r = s.get(url, auth=(login, password))

user_agent_val = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.69 YaBrowser/20.8.0.335 (beta) Yowser/2.5 Safari/537.36'

session = requests.Session()
session.auth = (login, password)

session.get(url, headers = {
    'User-Agent': user_agent_val
})

session.headers.update({'Referer':url})
session.headers.update({'User-Agent':user_agent_val})
_xsrf = session.cookies.get('_xsrf', domain="ycharts.com")

session.post(url, {'username': login, 'password': password,
                     '_xsrf':_xsrf,
                     'remember':'yes'})
r = session.get(url)

Answer 1

[Сергей Карбивничий]

Я бы сделал так - авторизовался через selenium, скопировал cookies и пользовался далее request'ом и BS4. Так как при авторизации передается некий "csrfmiddlewaretoken". Я хз как его разгадать. На странице авторизации он есть, но значение не подходит, значит он как-то меняется или шифруется с "солью".
Если авторизоваться браузером, и скопировать в скрипт из него параметр "csrfmiddlewaretoken" и cookies с именем "csrftoken" и подставив свои данные для авторизации, то авторизоваться можно.

import requests

cookies = { 'csrftoken': 'ЦиферкиБуковки'}

headers = {	'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36',
    		'Referer': 'https://ycharts.com/login?next=/dashboard/',
}

data = {
  'csrfmiddlewaretoken': 'ЦиферкиБуковки',
  'username': 'Почта',
  'password': 'Пароль'
}

response = requests.post('https://ycharts.com/login', headers=headers, cookies=cookies, data=data)

print(response.text)

Comments

[Torsionov]

Нашел "csrfmiddlewaretoken" в коде страницы авторизации и "csrftoken" через "driver.get_cookies()", все подставил, в том числе User-Agent и логин с паролем, но получил ошибку 403((

[Сергей Карбивничий]

Torsionov, Об этом я и говорю, что в html он есть, но не подходит. Если все это скопировать из браузера, то работает.

[Torsionov]

Спасибо большое, Вы очень помогли!

[Torsionov]

2 варианта решения:

import requests

URL = 'https://ycharts.com/login?next=/companies/AAPL/market_cap'

client = requests.session()

# Retrieve the CSRF token first
client.get(URL)  # sets cookie
if 'csrftoken' in client.cookies:
    # Django 1.6 and up
    csrftoken = client.cookies['csrftoken']
else:
    # older versions
    csrftoken = client.cookies['csrf']

login_data = dict(username=login, password=password, csrfmiddlewaretoken=csrftoken)
r = client.post(URL, data=login_data, headers=dict(Referer=URL))

driver = webdriver.Firefox(executable_path=r'C:\dr\geckodriver.exe')
    driver.get(url)

for i in driver.get_cookies():
    if i['name'] == 'csrftoken':
        csrftoken = i['value']
    elif i['name'] == 'csrf':
        csrftoken = i['value']
driver.get(url)

s_username = driver.find_element_by_name('username')
s_password = driver.find_element_by_name('password')
s_continue = driver.find_element_by_css_selector('.btn-block')

s_username.send_keys(login)
s_password.send_keys(password)
s_continue.click()