Как авторизоваться на сайте через python?

Question

[Евстегней Чачлык]

python 3
Помогите пожалуйста сделать парсер для нет города(https://portal.guostrj.ru/ ) (убрал пробел теперь сайт работает)
Искал в интернете ничего не нашел. Надо чтобы он авторизовался с логином и паролем и я дальше смог прыгать по вкладкам сайт получая html 
# авторизация через "Вход с использованием логина и пароля"(если нажать на это появляется форма авторизации)

import requests
s = requests.session()
  data = {"login": "login", "password": "password"}
url = "https://portal.guostrj.ru/"
r = s.post(url, data=data)
print(r)
r.cookies
#

пытался сделать так(если правильно то скажите пожалуйста как вытащить html сайта и каким образом перемещаться по сайту)

Comments

[sudo rm -rf /]

Вот кусок js-кода, который отвечает за авторизацию по логину и паролю. Разбирайтесь.

Код

u = function(e, t, n) {
        var r, a, l;
        if (i = i || e,
        l = $("[name=UN]", i),
        a = $("[name=PW]", i),
        g = "function" == typeof g ? g : t,
        n = n || [],
        g(l, a))
            return i.find("input[name=UN]").blur(),
            i.find("input[name=PW]").blur(),
            r = $.show.processing(),
            o(a).then(function(e) {
                var t;
                return t = i.find("select, input").serializeArray(),
                t.push({
                    name: "lt",
                    value: e.lt
                }),
                t.push({
                    name: "pw2",
                    value: e.pw2
                }),
                t.push({
                    name: "ver",
                    value: e.ver
                }),
                t.push.apply(t, n),
                jsSubmit({
                    action: "/asp/postlogin.asp",
                    data: t,
                    showProcessing: !1,
                    auth: !1,
                    defaultErrorHandling: !1,
                    onError: function(e) {
                        var t, n;
                        return r.close(),
                        t = (null != e && null != (n = e.responseJSON) ? n.message : void 0) || language.Generic.Common.kUnexpErr,
                        $.show.error(t).then(function() {
                            return l.focus(),
                            a.val("")
                        })
                    }
                }).then(function(e) {
                    var t, n;
                    return e.AT ? (t = e.RequestData || {},
                    t.at = e.AT,
                    n = {
                        path: e.EntryPoint,
                        auth: !1,
                        nocache: !1,
                        params: t
                    },
                    e.ErrorMessage ? (r.close(),
                    void $.show.error(e.ErrorMessage).then(function() {
                        var e;
                        return e = $.extend({}, n, {
                            method: "GET"
                        }),
                        delete e.params,
                        postTo(e)
                    })) : postTo(n)) : (r.close(),
                    void $.show.error("ошибка авторизации"))
                }).always(function() {
                    return setDBFree()
                })
            }).fail(function() {
                return r.close()
            })
    }

[Евстегней Чачлык]

sudo rm -rf /, спасибо да... Но в вопросе написан python)

[sudo rm -rf /]

Maxim Kirillov, а это не ответ. Это кусок кода с сайта.

[Евстегней Чачлык]

sudo rm -rf /, ну что он значит?
не совсем понимаю js(вообще)
и что тогда делать дальше с ним если не секрет?

[sudo rm -rf /]

Maxim Kirillov, не секрет.
На сайте есть форма авторизации: поля и кнопка "Войти".
По нажатию на кнопку возникает событие click, обработчик которого я тебе написал. Он берет данные из полей формы и формирует запрос.
Используя этот код, ты можешь узнать, куда и что он отправляет.

[sudo rm -rf /]

Maxim Kirillov, остается только найти и убрать лишние переменные и переписать код под питон.

Answer 1

[Александр]

Проще брать cookie чем вход сделать - там пароль шифруется дважды
hexMD5_(n.salt + hexMD5_(e.val())),
соль найдешь и будет щастье.
Вход происходит так:
https://portal.guostrj.ru/asp/postlogin.asp
Параметры POST:

LoginType: 1
cid: 2
sid: 1
pid: -1
cn: 1
sft: 2
scid: 8
UN: test
PW: 24ca
lt: 892015518
pw2: 24ca9c2219e1628227af25ad994104ec
ver: 650478787

pw2 - это хеш пароля с солью
пользователь и пароль вводил test
Без API парсер сложно сделать.

Comments

[Евстегней Чачлык]

спасибо, а можно поподробнее?)
там какую библиотеку использовать, как дальше перемещаться по сайту, как узнать html страницы
Что значит "соль"?
что за непонятные буквы UN, PW, lt? что они обозначают?
если не сложно то можно пример кода)

[Александр]

входишь на сайт через браузер, смотришь какие куки сайт дал после входа, сохраняешь их куданибудь - это и будет автотризация, а не то что ты написал. Либо смотришь меняется ли поле пароль с каждым новым входом. И шлешь нужные поля, либо просишь у разработчиков API и через апи берешь все что нужно.

каким способом будешь получать доступ?

А чтобы парсить надо смотреть инструментами разработчика сетевую активность. Скорее всего там много ajax запросов - надо будет изучить как приходят данные, скорее всего в HTML только шаблон.

[sudo rm -rf /]

Maxim Kirillov, https://scrapy.org

[Евстегней Чачлык]

Александр, где взять куки?
Наверное лучше использовать куки чем апи просить, ведь в нашей деревне....
а получать инфу из html (чуть чуть) я умею мне надо только его получить

извиняюсь за свой чрезмерный тупеж
просто это мой первый опыт и надо учиться

[Александр]

Для начала надо понять что есть "куки" - за этим в гугл.
А потом в хроме(инструменты разработчика) F12->Application->Cookies
Читаешь как отпраляются куки на сервер. Пишешь:Отправку через свой скрипт.
Открываешь:
F12->Network
и ищишь где пришли нужные данные, в HTML или в JSON или в XML - изучаешь то что отправлял сервер и то что запрашивалось с сервера. Анализирушь что где и что это значит.

Может вообще придется эмулировать браузер для работы JS который строит данные в HTML.

[Евстегней Чачлык]

Александр, а может быть тогда лучше через эмуляцию? и тогда мне кажется будет все проще. или я чего то не знаю про эту эмуляцию действий?

[Александр]

ну это более рксурсоемкое решение(зачем нам много свободной оперативки - пусть крутится вертится). Но вот статья есть https://habr.com/ru/post/131966/

[Emil Revencu]

Может использовать Selenium для получения данных?