Как собирать документы с сайта?

Question

[Андрей Ермаков]

Нужно решить следующую задачу:

1. Каждый день на нужных мне новостниках выходят статьи.
2. Нужно забирать тексты статей из конкретного контейнера.
3. Важно, чтобы статьи сохранялись в формате txt и подписывались датой и временем забора.
4. Директория для сохранения, либо сразу компьютер, либо облако (типа mail.ru).
5. Периодичность забора 1 раз в сутки, либо вручную (запуском нажатия кнопки).

Каким способом собрать документы?

Comments

[Модератор]

Вопрос слишком общий. Исправьте его так, чтобы он описывал конкретную проблему с достаточной детализацией для определения адекватного ответа. Не задавайте сразу несколько вопросов.

[FeST1VaL]

Чаще всего на новостных сайтах есть RSS, посмотрите есть ли на них) а так да... слишком обширно. Парсеры)

Answer 1

[bespechnost]

у многих новостных ресурсов есть rss. Можно его запрашивать на nodejs, парсить и складывать в облоко.
Если парсить страницы, то можно воспользоваться https://github.com/GoogleChrome/puppeteer

Comments

[Андрей Ермаков]

Спасибо. Воспользуюсь советом!

Answer 2

[hzzzzl]

в rss обычно кладут первые пару строчек статьи, как раз чтобы нельзя было спарсить оттуда полную статью без рекламы :)

Андрей Ермаков посмотри связку node.js, request and cheerio, если через ноду
https://www.digitalocean.com/community/tutorials/h...
https://itnext.io/scraping-with-nodejs-and-cheerio...

request принесет html страницы, с помощью cheerio можно легко разобрать блоки с контентом по css-селекторам

puppeteer и прочие "безголовые браузеры" для такого обычно не нужны

Comments

[Андрей Ермаков]

Спасибо за подробный совет