Как отслеживать изменения на сайте?

Question

[Layton]

Приветствую, недавно задался вопросом как вообще можно отследить изменение на сайте.
Конкретного решения для моей ситуации не нашёл.

Допустим на просторах интернета есть сайт (форум), на котором есть разные разделы (корневые пути), есть разные темы в данных разделах, а так же сообщения в темах.

От количества тем, сообщений может зависит количество страниц на сайте и т.д.
Как в моём случае, к примеру можно отследить новое сообщение в теме?
Допустим, как на данном сайте. Нужен банальный пример или ответ, как это работает.

Comments

[Aetae]

Если сам сайт не предоставляет совсем никаких возможностей для отслеживания как те же RSS или подписка на email, то только брать и руками долбить на предмет изменения. В лучшем случае изменения можно понять в хэдеру, иначе тупо сравнивать текст.
Для этого дела можно поднять свой сервак или использовать какие-нить google scripts.
Для удобства можно добавить юзерскрипт\своё расширение, которое будет помечать и отправлять ссылки на слежение.:)
Я в своё время хотел такое расширения написать, но забил, не так уж оно и надо.

Answer 1

[Daemon23RUS]

например RSS лента, подписываетесь на нее и получаете обновления как почту(почти) Не все сайты предоставляют такой функционал, но для понимания возможных вариантов вполне сгодится.
P.S.

Допустим, как на данном сайте. Нужен банальный пример или ответ, как это работает.

feed://habrahabr.ru/rss/qa раньше так было, сейчас надо посмотреть ...
UPD: https://qna.habr.com/rss/questions_latest

Answer 2

[mayton2019]

Это сложный вопрос и вобщем на 99% он зависит от дизайна самого сайта.
Сайт вам вобщем -то ничего не должен предоставлять для трекинга информации.
Но согласно HTTP-протколу например GET/HEAD может вернуть заголовок документа
где будет много интересного.

Например артифакт gravitee-am-repository-api-4.4.4.jar внутри maven repository
хранит много метаинформации о себе. Например etag (контрольная сумма md5)
и last-modified метка времени которая показывает как давно обновлялся
документ.

$ curl --head https://repo1.maven.org/maven2/io/gravitee/am/repository/gravitee-am-repository-api/4.4.4/gravitee-am-repository-api-4.4.4.jar
HTTP/2 200
etag: "3f5e67c1a10ded796a27108ba3756823"
content-type: application/java-archive
last-modified: Mon, 19 Aug 2024 13:49:25 GMT
x-checksum-md5: 3f5e67c1a10ded796a27108ba3756823
x-checksum-sha1: 4ac91e2e6d1cfd393c505e6a8db6bf0031dcc517
via: 1.1 varnish, 1.1 varnish
accept-ranges: bytes
age: 0
date: Mon, 19 Aug 2024 22:52:11 GMT
x-served-by: cache-iad-kcgs7200147-IAD, cache-fra-etou8220101-FRA
x-cache: HIT, MISS
x-cache-hits: 2, 0
x-timer: S1724107932.544121,VS0,VE90
content-length: 71040

Если вам повезет - то можете использовать эти атрибуты как метод трекинга обновлений.