Отправка данных в json(api?) с скрапленного сайта?

Question

[Belavor]

Задаю этот вопрос потому что хочу удостовериться в своих задумках/ узнать в деталях в данной области (про api итд).
хочу рил тайме на фронте получать инфу(json) через свой api (не знаю как это делается) с определенного сайта который скрапится с помощью питона(selenium)
к примеру скраплю сайт с селениомом (нету апи у сайта надо логиниться обязательно потом собирать инфу), получаю инфу и отправляю в бэкенд/restapi? и подключаюсь к этому api через fetch уже на стороне фронтенда. Правильно ли я подумал?
и по поводу скраппера и бекэенда куда как заливать чтобы он работал 24/7 (в vds?)
какие технологии для этого использовать?
еще вопросы по поводу скраппера мне нужно обезательно логиниться в сайт чтобы получить данные можно ли без селениума как нибудь логиниться и делать дела например через BeautifulSoup. можете дать наводку
не бейте сильно т.к только только изучаю
заранее спасибо!

Answer 1

[d'Ivan]

Верное направление мышления.
Вот тут похожий вопрос был задан:
Как спарсить иностранный сайт с переводом?

куда как заливать чтобы он работал 24/7 (в vds?)

На любой хостинг, который поддерживает стек технологий.

Comments

[Belavor]

А как парсер сделать автоматическим т.е сам будет переодически парсить.

[d'Ivan]

Belavor,
1. Запустить процесс с бесконечной петлей с командой sleep для задержки.
2. Запускать процесс периодически при помощи планировщика задач.