Как войти на сайт с помощью Python Requests?

Question

[Kayuro]

В данном случае сайт naurok.com.ua/test
Можете подсказать код для автоматизации захода на сайт?

p.s Я практически не шарю в пайтоне, ребята :)

Попробовал множество способов, ноль реакции.
Актуальный код:

import requests
from bs4 import BeautifulSoup
USERNAME = '123'
PASSWORD = '213'
LOGIN_URL = 'https://naurok.com.ua/login'
TEST_URL = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print'

with requests.Session() as session:
    login_resp = session.get(LOGIN_URL) #куки, реферер
    login_resp = session.post(LOGIN_URL, data={'email': USERNAME, 'password': PASSWORD})
    info_resp = session.get(TEST_URL)
    print(info_resp.text)

url = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
quotes = soup.find_all('a', class_='test-action-button')

for link in soup.find_all('a', class_='test-action-button'):
    linkresult = (link.get('href'))
    if linkresult:
        urlresult = url + '/print'
        responseresult = requests.get(urlresult)
        soupresult = BeautifulSoup(response.text, 'lxml')
        quotesresult = soup.find_all('div', class_='answer-key')

    print(quotesresult)

Comments

[Алан Гибизов]

Не понял, что значит «войти на сайт»? Что должно быть результатом действия, таким, которое можно чётко определить?

[Kayuro]

Алан Гибизов, пишу бота который бы считывал ответы на тесты и отправлял их в телеграм. На основне лежит парсинг. Столкнулся с проблемой что нужная ссылка с которой должны браться ответы, не открывается без залогиненного аккаунта. Мне просто нужно войти на сайт используя пайтон, вот и всё.

[Алан Гибизов]

Kayuro, вы не ответили на мой вопрос:
что должно быть результатом действия, таким, которое можно чётко определить?
Ну, например:
Если я хочу напечатать документ, то результат - видимое изображение документа, которое можно прочесть глазами (на бумаге, на экране).
А что у вас ожидается?

[Алан Гибизов]

Ещё вопрос: вы как-то пробовали это сделать? Хоть как-нибудь?

[Kayuro]

Алан Гибизов, Да, пробовал и пробую. В результате ожидаю активную сессию на сайте, для последующей работы с ним. Иначе я не знаю даже как объяснить.
Полазил по другим источникам, попытался переписать.

import requests
from bs4 import BeautifulSoup
USERNAME = 'myuser'
PASSWORD = 'mypass'
URL = 'https://naurok.com.ua/login'
payload = {'email': USERNAME, 'password': PASSWORD}

session = requests.session()
r = requests.post(URL, data=payload)
account = session.get('https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print')
print (account.content)

[Kayuro]

Алан Гибизов,

import requests
from bs4 import BeautifulSoup
USERNAME = 'myuser'
PASSWORD = 'mypass'
URL = 'https://naurok.com.ua/login'
payload = {'email': USERNAME, 'password': PASSWORD}

session = requests.session()
r = requests.post(URL, data=payload)
account = session.get('https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print')
print (account.text)

url = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
quotes = soup.find_all('a', class_='test-action-button')

for link in soup.find_all('a', class_='test-action-button'):
    linkresult = (link.get('href'))
if linkresult:
    urlresult = 'https://naurok.com.ua' + linkresult
    responseresult = requests.get(urlresult)
    soupresult = BeautifulSoup(response.text, 'lxml')
    quotesresult = soup.find_all('div', class_='answer-key')

    print(quotesresult)

Что выводит после рана:

*html развертку сайта*
[]
Process finished with exit code 0

Я добиваюсь того чтобы он вывел мне эти данные:

1. б (1 балів)
2. б (1 балів)
3. а (1 балів)
4. б (1 балів)
5. а (1 балів)
6. б (1 балів)
7. а (2 балів)
8. а (2 балів)
9. а (1 балів)
10. б (1 балів)
11. в (1 балів)
12. б (2 балів)
13. в (1 балів)
14. в (1 балів)
15. б г (2 балів)
16. б (1 балів)
17. а (1 балів)
18. д (1 балів)

[Алан Гибизов]

Kayuro, у вас в приведённом коде ошибка в цикле for. Там проверка if не относится к циклу, а должна относиться. Т.е. строчка с if и все следующие должны иметь дополнительный отступ слева, чтобы оказаться в цикле.

[Kayuro]

Алан Гибизов, Спасибо, это пофиксил. Но меня сейчас волнует решение в выводе правильных значений.

[Kayuro]

Алан Гибизов, действующий код и нерешенный вопрос:

import requests
from bs4 import BeautifulSoup
USERNAME = 'myuser'
PASSWORD = 'mypass'
URL = 'https://naurok.com.ua/login'
payload = {'email': USERNAME, 'password': PASSWORD}

session = requests.session()
r = requests.post(URL, data=payload)
account = session.get('https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print')
print (account.text)

url = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
quotes = soup.find_all('a', class_='test-action-button')

for link in soup.find_all('a', class_='test-action-button'):
    linkresult = (link.get('href'))
    if linkresult:
        urlresult = url + '/print'
        responseresult = requests.get(urlresult)
        soupresult = BeautifulSoup(response.text, 'lxml')
        quotesresult = soup.find_all('div', class_='answer-key')

    print(urlresult)

[Алан Гибизов]

Kayuro, вы получаете quotesresult. А что дальше с ним делаете?

[Kayuro]

Алан Гибизов, quotesresult это уже часть парса, он должен выводить вышеперечисленные значения в виде ответов на тест.

spoiler

1. б (1 балів)
2. б (1 балів)
3. а (1 балів)
4. б (1 балів)
5. а (1 балів)
6. б (1 балів)
7. а (2 балів)
8. а (2 балів)
9. а (1 балів)
10. б (1 балів)
11. в (1 балів)
12. б (2 балів)
13. в (1 балів)
14. в (1 балів)
15. б г (2 балів)
16. б (1 балів)
17. а (1 балів)
18. д (1 балів)
19. б (1 балів)
20. г (1 балів)
21. б (1 балів)

[Kayuro]

Алан Гибизов, часть для входа на сайт лежит сверху:

import requests
from bs4 import BeautifulSoup
USERNAME = 'email'
PASSWORD = '123strong'
URL = 'https://naurok.com.ua/login'
payload = {'email': USERNAME, 'password': PASSWORD}
responseaccount = requests.get(URL)
soupaccount = BeautifulSoup(responseaccount.text, 'lxml')
quotesaccount = soupaccount.find_all('img', class_='profile-avatar')

session = requests.session()
r = requests.post(URL, data=payload)
account = session.get('https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print')
print (quotesaccount)

[Vindicar]

Kayuro, зачем стартуешь новую session?
У тебя сайт в старой сессии оставил куки, что ты вошел на сайт. А новая сессия про них не знает.
Так что запрос на URL для входа и запрос на URL страницы теста должны выполняться в рамках одной сессии.

А если в питоне не шаришь, значит, откладываешь этот проект и учишь азы питона. Потом вернёшься к нему. Иначе на отступах и прочей мелочи будешь спотыкаться.

[Kayuro]

Vindicar, что под твоим пониманием новая сессия?
request.session - как я читал, это как раз таки сохранение сессии.

Так-же, что в твоем понимании азы питона?

[Kayuro]

Vindicar, Мне всего-лишь нужно в этой теме разобраться, а дальше мне будет легче, т.к работа с этим будет завершена. Я жду помощи/решения, а не советов по типу иди учи. Пойми меня.

[Vindicar]

Kayuro, Я же прямо написал - session.
У тебя первый запрос выполняется как requests.get(), при этом неявно создаётся новая сессия по умолчанию.
Затем ты создаёшь другую сессию вызовом requests.session(), и выполняешь второй запрос уже в отдельной сессии.
Лучше всего создать сессию с самого начала и делать все запросы в её рамках.

[Kayuro]

Vindicar, сделал как ты сказал, ничего не поменялось. Если есть возможность, напиши код, я его скопирую и вставлю. Возможно я что-то не так абсолютно в коде делаю, а ты даже не знаешь что там в html развертке, если оно решает.
Сайт https://naurok.com.ua

[Vindicar]

Kayuro, тогда покажи актуальный код, лучше в самом вопросе.

[Vindicar]

import requests
USERNAME = 'email'
PASSWORD = '123strong'
LOGIN_URL = 'https://naurok.com.ua/login'
TEST_URL = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html'

with requests.Session() as session:
    login_resp = session.get(LOGIN_URL) #куки, реферер
    login_resp = session.post(LOGIN_URL, data={'email': USERNAME, 'password': PASSWORD})
    info_resp = session.get(TEST_URL)
    print(info_resp.text)

[Kayuro]

Vindicar, Не заработало. Могу лишь рассказать что я делаю.
Я ученик 10 класса, и заметил что нет ни одного бота для решения тестов на сайте НаУрок.
Сегодня сказал однокласснице про эту идею. Пришёл домой, зашёл на хабр и спросил возможно ли./
Вспомнил что немного шарю в пайтоне (сам изучал + школа), и неплохо получалось чинить файлы от сына информатички (он тупой был).
Вот, почитал документацию об парсинге/скрапинге, всё хорошо было, ответы уже можно было забирать, но проблема была в том что чтобы чекать данную страницу, нужно войти в аккаунт. Соответственно аккаунт в браузере был, а в коде - нет. Вот и вся история. Код прикреплю ниже весь.

Сам парс.

import requests
from bs4 import BeautifulSoup

url = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
quotes = soup.find_all('a', class_='test-action-button')

for link in soup.find_all('a', class_='test-action-button'):
    linkresult = (link.get('href'))
    if linkresult:
        urlresult = url + '/print'
        responseresult = requests.get(urlresult)
        soupresult = BeautifulSoup(response.text, 'lxml')
        quotesresult = soup.find_all('div', class_='answer-key')

    print(urlresult)

Сам логин (прикреплю твой)

import requests
USERNAME = 'зарегайся, 2 минуты'
PASSWORD = 'зарегайся, 2 минуты'
LOGIN_URL = 'https://naurok.com.ua/login'
TEST_URL = 'https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html/print'

with requests.Session() as session:
    login_resp = session.get(LOGIN_URL) #куки, реферер
    login_resp = session.post(LOGIN_URL, data={'email': USERNAME, 'password': PASSWORD})
    info_resp = session.get(TEST_URL)
    print(info_resp.text)

Попробуй зарегаться, если я обречён, то так и скажи.

[Kayuro]

Vindicar, вот что я ожидал видеть:

1. б (1 балів)
2. б (1 балів)
3. а (1 балів)
4. б (1 балів)
5. а (1 балів)
6. б (1 балів)
7. а (2 балів)
8. а (2 балів)
9. а (1 балів)
10. б (1 балів)
11. в (1 балів)
12. б (2 балів)
13. в (1 балів)
14. в (1 балів)
15. б г (2 балів)
16. б (1 балів)
17. а (1 балів)
18. д (1 балів)
19. б (1 балів)
20. г (1 балів)
21. б (1 балів)

Что увидел:
[]

[Vindicar]

Kayuro, ну в URL страницы у меня была ошибка, исправил код выше.
Теперь страница открывается.
А её парсинг, это уже отдельный вопрос.

[Shandy]

Попробуй связаться с разработчиками сайта. Они вряд ли помогут тебе, но попробовать стоит

[Kayuro]

Vindicar, Парсинг полностью настроен, мне нужно залогиниться. То что ты исправил ссылку в тест_урл - ничего не изменило. Я расстроен.

[Kayuro]

Shandy, В их же интересах не допускать парсинга, поэтому нечего им писать)

[Алан Гибизов]

Kayuro, я не спрашиваю, что quotesresult должен делать. Я спрашиваю, что ты с ним делаешь? В твоем коде я этого не увидел.

Кроме того, мне лично не нравится подход «Я жду помощи/решения, а не советов по типу иди учи.» Тут тебе никто не обязан ни помогать, ни тем более давать решения.

Тут ты можешь привести кусок своего кода, который работает не так, как ты ожидал, и спросить, что ты не так делаешь. Тебе могут ответить. Могут и не ответить. Но уж точно тут никто не должен предоставить тебе правильный код - это изволь сам делать.

Советую ознакомиться с правилами.

[Kayuro]

Алан Гибизов, получается я живу в утопии.

[Kayuro]

Алан Гибизов, С quotesresult я ничего не делаю, это окончательный ответ - ответ на тест.

[Shandy]

Может попробовать selenium?

[Алан Гибизов]

Kayuro, добро пожаловать в реальность, приятель.

[Kayuro]

Shandy, почитаю про неё, тоже видел что используют.
Спасибо всем за помощь и советы. Алан Гибизов , отдельное спасибо за исправление ментальных ошибок.
Буду учиться)

[Kayuro]

Shandy, попробовал селениум, всё отлично работало, проще говоря устраивало. но тут застрял на том как теперь соединить selenium и py requests :)

[Shandy]

Kayuro, а зачем тебе requests?

Answer 1

[Vindicar]

import requests
USERNAME = '[e-mail]'
PASSWORD = 'pwd'
LOGIN_URL = 'https://naurok.com.ua/login'


with requests.Session() as session:
    login_resp = session.get(LOGIN_URL) #куки, реферер
    login_resp = session.post(LOGIN_URL, data={'email': USERNAME, 'password': PASSWORD})
    info_resp = session.get('https://naurok.com.ua/test/monotonnist-i-neperervnist-funkci-parni-ta-neparni-funkci-1059187.html')
    #хочешь - сохраняешь
    with open('res.html', 'wt', encoding='utf-8') as dst:
        dst.write(info_resp.text)
    #хочешь - парсишь как тебе нужно.