Почему не могу запарсить яндекс-переводчик?

Question

[ibr_98]

Всем привет!
Вот этот код мне выдает пустой массив:

import requests
from bs4 import BeautifulSoup
#ПЕРЕМЕННАЯ С ССЫЛКОЙ НА ЯНДЕКС ПЕРЕВОДЧИК С ПЕРЕВЕДЕННЫМ СЛОВОМ
openUrl = 'https://translate.yandex.ru/?utm_source=wizard&lang=ru-en&text=%D0%BF%D0%BE%D0%BA%D0%B0'

#ОТКРЫВАЕМ ЮРЛ
requestGet = requests.get(openUrl)

#ПОЛУЧАЕМ СОДЕРЖИМОЕ СТРАНИЦЫ
soup = BeautifulSoup(requestGet.content, 'html.parser')

#БЕРЕМ ИЗ СТРАНИЦЫ ПЕРЕВЕДЕННОЕ СЛОВО
so = soup.find_all('span', class_='translation-chunk')
print(so)

#КЛАСС translation-chunk - ЭТО СЛОВО, КОТОРОЕ Я ПЕРЕВЕЛ В ЯНДЕКС ПЕРЕВОДЧИКЕ

с другими сайтами хорошо работает.. В чем может быть дело?
спасибо

Comments

[x67]

Как же ужасно выглядит загрузка целой страницы вместо одного правильного запроса

Answer 1

[Евгений]

У яндекса для этих целей есть api. И да, вы серьезно думаете, что яндекс позволит ботам просто так парсить их сайты?

Comments

[ibr_98]

ну не знаю, например слово "картинка" смог спарсить

[Евгений]

ibr_98, а искомое слово там есть, если просмотреть исходный код?

[ibr_98]

Евгений, да, и в случае с переведенным словом тоже было перведенное слово в исходном коде

Answer 2

[sim3x]

Возьмите свою страницу curl / wget и посмотрите на нее в текстовом редакторе

bs видит тоже самое, что и вы в редакторе

Для "парсинга" вам нужно или разобраться как данная страница общается с сервером и емулировать ее.
Или использовать апи

Comments

[ibr_98]

ок, спасибо

[sim3x]

ibr_98,
bs не стоит использовать
используйте lxml

[Ranc58]

sim3x, А почему не стоит использовать BS?
Можно же указать BeautifulSoup(markup, "lxml")

[sim3x]

Ranc58, а зачем использовать прокладку от которой нет никакой пользы?

Answer 3

[Ranc58]

Яндекс переводчик API.
Скорее всего это будет самый безболезненный способ.