Как спарсить сайт, чтобы парсер работал под моим аккаунтом?

Question

[insta_parser]

Мне нужно спарсить свои оценки с электронного дневника. Как сделать чтобы парсер мог работать именно с моим аккаунтом.

Answer 1

[Александр]

для такого парсинга используется другая библиотека. например Selenium. он может вводить данные в формы и кликать по ссылкам и кнопкам

Comments

[MinTnt]

Не обьязательно..

Вряд-ли сайт дневника сильно навороченный, думаю сойдёт и простое взаимодействие с API. Просто взяв токен сессии, ну или же повторив запросы авторизации для их получения.

[Александр]

MinTnt, с каким API?
BeautifulSoup просто получает html код по http соединению и парсит его как текст. он не взаимодействует ни с каким апи. Возможно и можно при запросе в сайту отправить ему куки с токеном или креденшелами, но так эту куку нужно еще найти в браузере, потом передать ее в питон.

или по-другому, нужно искать урл, куда посылается запрос на авториацю, искать, что в этом запросе должно быть. потом нужно получить ответные куки и сохранить, потом нужно их подставить с новом запрос на страницу с нужной инфой. слишком сложно для начинающего. проще разобраться с селениум и автоматизировать все одним махом

[MinTnt]

Александр, пользовался какое-то время selenium. В принципе можно.. но как по мне не очень.. Часто с разными защитами от Selenium сталкивался на сайтах.

Как по мне, удобнее работать напрямую с requests. Получается менее затратно по ресурсам, и более завязано к основной цели. Хотя может это более привычно для меня т.к. в основном заказы были на парсинг больших объемов данных..

Вообще, раз на сайте есть авторизация, то значит бэк, а т.е и какое-нибудь внутреннее api для фронта точно будет.

Ну а так, если совсем новичек, может будет неплохо взглянуть так же и на ZennoPoster

[Александр]

MinTnt, апи будет только если сайт не старый и не на вордпресе (там есть рэст, но токен авторизации не выдается так просто ). в общем. но не только вордпресс, многие сайты могут быть монолитом на php

Answer 2

[Vindicar]

Почти наверняка сайт использует cookies для хранения сессии, т.е. чтобы понять, что два или более запроса пришли от одного и того же пользователя.
Большинство библиотек для работы с HTTP предоставляют механизм хранения cookies. Та же requests, например.
Тогда выясняешь, какой запрос нужно сделать к сайту, чтобы залогиниться, и делаешь этот запрос. Потом в рамках той же сессии (читай документацию на используемую библиотеку!) выполняешь нужные тебе запросы к страницам.