Как спарсить сайт(время электричек) и сделать это активацией по кнопки в боте вк?

Question

[neizon]

Хотелось бы понять как сделать отсылку по кнопки, времени электричек в боте вк, но не могу найти решение

Comments

[Vindicar]

Если это задание, то с этим на фриланс.

Если нет, то нужны детали.
Что за библиотеку для работы с ВК планируешь использовать? Асинхронную или синхронную? От этого зависит организация бота - простой асинхронный, или синхронный с потоками. (Если термины незнакомы, тебе нужно подучиться, прежде чем браться за ботов.)
Сколько человек будут пользоваться ботом и насколько часто? Насколько часто меняется это расписание? От этого зависит оправданность парсинга по каждому запросу пользователя.
Что за сайт? Отдаёт ли он нужный контент статически, или генерирует/подгружает его через JavaScript? Если первое, то достаточно библиотеки для выполнения HTTP запросов. Для синхронного бота подойдёт requests, для асинхронного - aiohttp. Обе сторонние, ставятся через pip. Не забудь про имитацию запроса обычным пользователем - куки, заголовки Referer и User-Agent.
Используй beautifulsoup, чтобы выдернуть нужную инфу из HTML разметки, хотя в простых случаях и регулярные выражения подойдут.
Если сайт увешан скриптами, нужно анализировать сайт и выяснять, какой фоновый запрос отдаёт нужные данные. Если повезёт, и сайт отдаёт данные в json, то подойдёт одноименный стандартный модуль.
Если же не повезёт, и сайт слишком сложен, или сайт защищается от ботов, придётся использовать selenium для его открытия в обычном (но программно управляемом) браузере. Это куда более тяжеловесный процесс, но и куда более сложный для обнаружения.

Answer 1

[EgorSvinarev]

Парсить расписание каждый раз при запросе к боту слишком ресурсоемко. Лучше заранее готовить выборку. Например, можно сделать cron-job, который будет каждый n-минут/часов собирать расписание и помещать его в бд/файл, а затем отсылать его в ответ на запрос к боту.

Comments

[Vindicar]

Это имеет смысл, если запросы идут чаще, чем хотя бы раз в пять минут.
Если бот "для себя", а информация в источнике может меняться внезапно, то подход "парсить по запросу" может иметь смысл.

[EgorSvinarev]

Vindicar, Учитывая предметную область, можно предположить, что информация там не так часто меняется

[Vindicar]

EgorSvinarev, ну если придираться, то "часто" и "внезапно" - не одно и то же. =) Если сайт обновляется редко, но нерегулярно, а ты хочешь гарантированно иметь актуальную информацию (что важно при планировании поездок), то выполнять запрос немедленно практичнее до тех пор, пока этих запросов не очень много.