Можно ли установить live соединение с сайтом и смотреть на его изменения?
Привет!
Есть сайты с лайв трансляциями. Стоит острая необходимость парсить лайв матчи. Каждые пару секунд подключаться к сайту по курлу и смотреть на изменения - как-то не то. Или сайт-донор запалит и заблочит, или собственный сервер сляжет от постоянных нагрузок. Есть ли такой вариант, подключиться к сайту одиножды и не отключаться от него? На сайтах изменения происходят в режиме реального времени, без перезагрузок страницы, и я бы хотел такое непрерывное соединение, при котором мой скрипт постоянно бы отслеживал изменения, и сразу же ко мне их парсил, если таковые будут.
Смотрите как сайт делает обновление в реальном времени. Обычно несколько вариантов
1) Запрос на сервер по ajax каждые N секунд.
2) Веб-сокеты
3) Серверные события EventSource
И попытайтесь у себя повторить такое чтение по источнику.
Вряд ли это будет ответом на вопрос, но если вы боитесь блокировки сайтом донором, то, наверное, вы парсите 1) не свой сайт 2) сайт, который не создан для этого (например, букмекер)
Поэтому почему бы вам не использовать специализированные сервисы, которыми иногда пользуются сторонние сайты (опять же букмекеры)
По футболу, например: www.footytube.com/openfooty/api_overview.php
Тут хорошие ответы: https://stackoverflow.com/questions/13370914/uefa-...
вам лучше договорится с донором и попросить у них xml/json выгрузку
live наблюдение за сайтом как раз будет делать больше нагрузку на ваш сервер, а именно на RAM.
