Можно ли спарсить данные из Яндекс.Вебмастер не через апи?

Question

[noxmag]

Можно ли спарсить данные из Яндекс.Вебмастер не через апи (нужны данные обхода роботом страниц и страницы в поиске, а точнее нужны url), т.к. яндекс не дает информацию о конкретных страницах. Главная заминка - как авторизовать бота.

Answer 1

[Артем]

Авторизовать при помощи post-запроса, как и всегда.
Т.к., очевидно, не очень разбираетесь в теме, посмотрите в сторону ZennoPoster - парсер-постер для домохозяек с низким порогом входа.

Answer 2

[Web Dentist]

При авторизации указываешь нужные headers и парсишь.

Comments

[muhasa]

Можете подсказать какие конкретно?

[Web Dentist]

muhasa,
На счёт Яндекс.Вебмастер точно не знаю , но если в общем то -

import lxml.html
import requests

login = 'kcvp30vik-0kelrkvre'
password = 'qazwsxc2434ecwcwec'
url = 'https://passport.yandex.ru/auth'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3', 'Accept-Encoding': 'gzip, deflate',
    'Connection': 'keep-alive', 'DNT': '1'}
session = requests.session()
data = session.get(url, headers=headers)
page = lxml.html.fromstring(data.content)
form = page.forms[0]
form.fields['login'] = login
form.fields['passwd'] = password
response = session.post(form.action, data=form.form_values())
print(response.text) # можешь это дело просто записать в html файл и спарсить его

UPD : для вебмастер просто меняете url на https://passport.yandex.ru/auth?origin=webmaster&r...