Парсинг сайта\блога. Нужны уведомления о поступлении новых постов. Как сделать?
Добрый день всем. Нужна Ваша помощь!!!)
Суть в том, что имеется несколько десятков блогов(чужих\левых ;) т.е доступа к админке какой либо и тд нету.) на определенную тематику и нужно как-то отслеживать появление на них новых постов. Когда соответственно новый пост в этих блогах появляется, то нужно что бы приходило какое-то оповещение например на почту. Скажите какими средствами такое лучше реализовать? Есть может какая програмка или скрипт готовый на гите или где там еще.
Так же в дальнейшем скорее всего нужно будет сделать так, что бы при появлении новых постов в блогах, не только уведомление приходило, но и сами статьи парсились и дальше заносились в Базу данных основного другого блога.
Возможно нужен именно парсер странички для этой цели или что то большее? Короче нужна помощь вот с этим делом)
Помогите ссылками, примерами, или в правильном направлении направьте)
Спасибо. Подредактировал описание. Блоги не мои. Нет доступа не к админкам не к чему короче) Но на получать уведомление, что на том то блоге опубликовалась новая статья...
StiveM, погугли RSS программа, просто даешь url ей и все, она собирает все что нужно, раньше был RSS от гугла, вот была вещь... очень жаль что закрылась
но сейчас и аналогов много как сервисы/сайты
Можно написать бота, который будет с нужной периодичностью проходить по списку блогов и при наличии обновлений выполнять какие-либо действия. Например, сообщать в телеграм, парсить контент, собирать в эксель и прочее.
Если нужно больше информации о всем процессе - задавайте вопросы.
О Супер!! Да, это именно то, что и нужно))) Пройтись по всем блогам сторонним, потом оповестить на почту\телеграм о том, на каком блоге появилась новая запись\статья) А как дополнительный функционал - спарсить данные нового поста(картинка там, заголовок, текст и тд) и на пример залить эти новые посты в базу данных.
Скажите какими средствами можно создать такого бота ? Или это может быть парсер на PHP\JS?
Интересует в первую очередь только возможность - пройти по списку блогов и прислать на почту или телеграм те блоги в которых появилась новая статья. Подскажите справиться ли с такой задачей обычный парсер, которых можно найти на Гите в достатке? Или тут что то более сложнее нужно думать?
StiveM, можно на чем угодно, в принципе. Я подобных ботов делал на Python.
Универсальной "отмычки" не бывает. Потому для каждого блога нужно искать свой подход, как взять нужную информацию. То есть, парсер один, но ему нужно будет писать инструкции для каждого блога.
MonAmur, А.. Вот оно что. Блин.. Я просто пока не прикидывал даже еще. Но где то предположительно будет 30-50 блогов)))) с которых нужно будет получать оповещение , что появилась новая статья.. - Это будет гораздо сложнее сделать для такого количества или все же не на столько ? Если знаете можете скинуть пару готовых скриптов или примеров как другие люди писали\делали такое?? Я гуглил , но находил не то, находил парсеры простые типа - спарсить список товаров на каком-то то сайте и все. А как вот сделать так что бы оно оповещало пробегаясь по всем и тд и тп пока что не предстовляю. Или может какой алгоритм действий подскажите\из чего должен быть построен скрипт сам, типа что должен минимально делать типа того..? Боже я наверное ужасно глупые вопросы задаю.. Извиняюсь заранее.
Средний
