Как осуществить такой парсер( "вечный парсер")?

Question

[Эрнест Варданян]

Всем привет, скажите, что мне нужно выучить, чтобы парсить данные, которые сразу появляются на сайте, к примеру через 2 минуты появится инфа, которая мне нужна и я хочу её получить не путём запуска своего кода в определённое время или каждые 2 минуты, а именно чтобы он как-то сразу получил эту инфу и спарсил для меня, как бы парсер онлайн. Слышал что-то про вебсокеты, может они помогут, фиг его

Answer 1

[Saboteur]

Либо вы договариваетесь с владельцем сайта, чтобы он отправлял данные сразу как они получены, например слал письмо, или дергал урл вашего сайта.

В противном случае это НИКАК не возможно, кроме как просто периодически перезапрашивать данные на сайте по расписанию.

Answer 2

[soremix]

Нужно смотреть как именно контент появляется на сайте.

1. Либо сайт постоянно шлет запросы на специальный эндпоинт для получения обновлений, оттуда берет их и добавляет на сайт
2. Сайт получает обновления через вебсокет
3. Статистика не обновляется в лайв режиме, а появляется после обновления страницы.

Для каждой из ситуаций будет разный подход

Comments

[Эрнест Варданян]

3 точно не подходит ибо появляется инфа без обновления

Answer 3

[Владимир Коротенко]

Сделайте ваш парсер ф5 куном. Периода в 1 секунду думаю будет достаточно

Comments

[Эрнест Варданян]

по подробнее слегка можно, у меня селениум, это выходит он будет каждую секунду запускать код или что?

[Владимир Коротенко]

Эрнест Варданян, Не совсем так.
https://habr.com/ru/company/jugru/blog/351584/
Посмотрите тут, ожидание события вполне возможно, а после ваш код срабатывает, потом выходите и снова запускаете ожидание