Как парсить ответы из znanija.com?

Question

[apiwi]

Как реализовать парсер https://znanija.com ( не реклама)? Нужно чтоб юсер вводил текст, парсер заходил на сайт и вбивал в поиск этот текст. За тем выдавал первый ответ юсеру. Расскажите пожалуйста подробнее. Без токсика, действительно не понимаю. ( Я знаю что нужно юзать BS4 и тп, но как?)

Answer 1

[soremix]

Жмете F12, открываете вкладку Network. Пишите поисковой запрос, отправляете его. Ищите во вкладке Network из какого запроса пришли ответы на вопрос. Спойлер, там есть проверка на JS и куки включеные. Поэтому делаете запрос на URL с вопросом через selenium.

https://znanija.com/app/ask?entry=top&q=ТУТВОПРОС

И оттуда забираете нужные данные через find_element_by_

Comments

[apiwi]

Можно ваш вк или почту пожалуйста?

[apiwi]

Всё не так да?

from bs4 import BeautifulSoup
import requests

find = input ("Введите запрос: ")
response = requests.get('https://znanija.com/app/ask?entry=top&q=' + find)
soup = BeautifulSoup(response.text, 'html.parser')
tag = soup.find('div', {'class': 'sg-text js-answer-content brn-rich-content'})
print( str(tag) )

Ответ:
>>>Введите запрос: слон
>>>None

[soremix]

apiwi, там нет этих ответов на странице, через CTRL+U проверяйте.
Плюс, сделайте print(response.text)
Там нет данных, потому что запросы без JS блокируются. Делайте через селениум.

контактов нет

[apiwi]

SoreMix, Смотрите, сначала znanija.com/app/ask?entry=top&q=ВОПРОС выдает список ответов, нужно чтобы код перешел по 1 ответу, и от туда извлек уже сам ответ.

[soremix]

apiwi, еще раз говорю, нет у вас этих ответов в requests.get('https://znanija.com/app/ask?entry=top&q=' + find). Нет.

Используйте селениум для этого