Как мониторить факт изменения веб-страницы?

Question

[ansido]

Задача: отслеживать факт изменения веб-страницы типа https://www.fonbet.ru/sports/chess/
Для начала - именно факт, а не что там поменялось.

Я знаю, что есть готовые решения, которые у меня хорошо работают с другими сайтами.
Проблема в том, что ни один готовый инструмент, который я пробовал (distill.io, visualping) с содержимым этой страницы нормально не работает.

Моё громоздкое решение: скрипт на питоне, который регулярно делает частичные скриншоты браузера с этой страницей (где нет моргающих баннеров). Если очередной скриншот отличается от предыдущего, посылается уведомление.
Поскольку это требует наличия на экране постоянно открытой страницы, все это сделано в виртуальной ОС.

Вопрос: есть ли способ проще?

Comments

[Влад Григорьев]

с вероятностью в 99.9% там по вебсокету данные ходют, но далеко не факт, что только его хватит, что бы получать данные. с примерно такой же вероятностью, вас начнут банить как парсера, ибо никто не любит парсеров

[weranda]

changedetection.io пробовали?
Я для этих целей zapier'ом пользуюсь и не парюсь. Бесплатная проверка каждые 15 минут — хватает за глаза. Вот только точно не помню есть ли там возможность мониторить визуальные изменения.

[ansido]

weranda, я пытался им воспользоваться, но не смог настроить.
"pip install changedetection.io" я сделал, всё ок.
Но потом началось. На команду:
"changedetection.io -d c:/det -p 5000"
вылезла ошибка -
Traceback (most recent call last): File "c:\python\python37\lib\runpy.py", line 193, in run_module_as_main "main_", mod_spec)
File "c:\python\python37\lib\runpy.py", line 85, in _run_code exec(code, run_globals)
File "C:\Python\Python37\Scripts\changedetection.io.exe_main_.py", line 4, in ModuleNotFoundError: No module named 'changedetection'

Ну, и он вроде только с html работает, так что вряд ли помог бы, нет?
https://www.reddit.com/r/selfhosted/comments/n89ey...

[weranda]

ansido, Не пользовался, не могу точно подсказать. Как дополнительные вариант — selenium. А еще можно поискать API. Сайт рекламировать не буду, сомнительный, но по запросы указанной компании + API на одном из первых мест в гугле. В прайсе написано, что 3600 запросов в час бесплатно. Если вам для этого сайта и подобных по ставкам, посмотрите. Если реально работает и 3600 запросов в час бесплатно, то это отличный вариант.

[ansido]

weranda, спасибо, я нашел такое https://github.com/Neafiol/Fonbet-1xBet-parser
Не знаю, как это работает, и куда эти файлы вставлять и как запускать, но попробую разобраться.

[Илья]

хеш кода можно снимать

[ansido]

Илья, как?

Answer 1

[GrayHorse]

Задача: отслеживать факт изменения веб-страницы

MutationObserver

const targetNode = document.querySelector("body");
const config = {attributes: true, childList: true, subtree: true};

function callback(mutationsList, observer) {
    console.log("Что-то изменилось", mutationsList);
}

const observer = new MutationObserver(callback);
observer.observe(targetNode, config);

Comments

[ansido]

Спасибо большое! Вставил этот кода в консоль, и он работает. Но есть проблема - на сайте есть реклама, всякие карусельки баннеров, и скрипт на это реагирует. А мне надо чтобы он реагировал только на изменение значащей информации. Я правильно понимаю, что в строке
const targetNode = document.querySelector("body");
надо вместо body написать что-то другое, чтобы страница не целиком мониторилась?

PS Я нашел код, которые по идее что-то должен парсить на этой странице (мне не надо), может в нем можно найти, как не учитывать рекламу? https://ideone.com/MKApqz