Парсинг сайтов. Как ввести строку?

Question

[Guerro69]

Я пишу свою программу с помощью которой можно узнать дату регистрации пользователя в вк.
Я написал простой код, позволяющий спарсить текст сайта который может дать информацию о регистрации в вк.

import re
import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
URL_TEMPLATE = "https://regvk.com/"
r = requests.get(URL_TEMPLATE)
print(r.text)

Но с парсингом я сталкиваюсь первый раз и не знаю, как сделать так, чтобы с помощью Python`a вставить текст на сайте, то же самое, как с помощью кода нажимать на кнопки на сайте?

Answer 1

[Александр]

У яндекса там куча JS - просто так не попарсишь.
Если интересует переводчик - то возьми API
Так проще чем вникать в нюансы парсинга сайтов, которые защищены от парсинга.
Если интересен именно парсинг - тогда selenium и прочие парсеры работающие с JS.

Comments

[Guerro69]

Хорошо, а каким образом на какой-нибудь простой сайт отправить запрос, то-есть нажать на кнопку или же ввести текст?

[Александр]

Если нужно тыкать кнопки - как это бы делал пользователь - то нужно эмулировать браузер. А если по простому - каждая кнопка инициирует запрос с какими либо параметрами - вот и из питона отправлять такой же запрос.

Запрсы можно увидеть на вкладке Network консоли разработчика в браузере( F12). В любом случае вначале надо смотреть сайт в браузере.