Какой стек технологий подойдет для автопостинга в блоги?

Question

[RR40]

Привет знатокам!

Перед тем как начать подыскивать исполнителей для проекта, хотел бы услышать мнения опытных людей.

Задача проекта:

• Создать модульный парсер контента из новостных изданий с авторизацией, зачастую на сайтах есть много JS, иногда требуется хитрый подход для работы с сайтом и сбора контента.
  
• Создать систему для рассылок в блоги по API, очистки и рерайта контента
  
• Создать платформу с N количеством блогов, которые будут принимать контент от системы рассылки (желательно в формате markdown)
  

Какие я вижу варианты:

• Для блогов: Ghost (markdown, open-source, API, AMP, sitemap, meta, etc)
  
• Для системы парсинга: Selenium WD, но что будет им управлять ?
  
• Для системы рассылок контента: PHP ? Python ?
  

Answer 1

[Александр Аксентьев]

парсер контента из новостных изданий с авторизацией, зачастую на сайтах есть много JS, иногда требуется хитрый подход для работы с сайтом и сбора контента.

Новостные как бы не против копирования, и там есть RSS чуть более чем везде.
А где нет RSS не стоит гемора в основном. Если речь прямо про новости, то так или иначе новости копипастятся на куче источников, и можно забрать в другом более дружелюбном с RSS.

Для системы парсинга: Selenium WD, но что будет им управлять ?

так что я бы сказал что это лишнее. Не говоря уже про сложность реализации и ресурсы для работы.

Для системы рассылок контента: PHP ? Python ?

исходя из прошлого пункта - рассылка не нужна, можно сделать RSS тот же самый и конечные потребители(сайты/блоги или что там у вас) будут сами запрашивать нужные данные.

Comments

[RR40]

Сбор информации будет происходить с платных изданий, там paywall везде, RSS нет.
Один из ресурсов — Reuters, там без JS cookie не получится работать, как быть без Selenium ?

[Александр Аксентьев]

RR40: от сайтов зависит, я в целом писал про "обычные" новостные сайты.
Тем не менее брать браузер для этого это дикий оверхед.
ДЛя начала надо изучать конкретно источники.

Браузер это когда прям ваще все очень сложно, API закрыто/нет, каптчу разгадавать по пути надо, все на JSе(запросы не "подделать" на сервер) и т.д.

[RR40]

Александр Аксентьев: Спасибо за комментарий, и там действительно, нет API... И на Reuters в консоли журналиста — вообще все на адском JS...
А есть что сказать насчет блогового движка Ghost ?
И насчет PhantomJS / CasperJS в качестве альтернативы Selenium ?

[Александр Аксентьев]

PhantomJS / CasperJS

каспер это оболочка для фантома, более удобная чем сырой фантом.

селениум не юзал вообще.

каспер и nightmarejs +/- одно и тоже, последний сначала был на фантоме потом переехал на электрон.
вроде юзабельно.

Сейчас еще зашевелился гугл и подогнал chrome headless, и вроде как даже все хорошо там.
Не знаю на счет готовых либ под него, кроме https://github.com/laravel/dusk для тестирования.
Но я бы брал его т.к. это всё-таки хром собственной персоной.
phantomjs - тоже на webkitе, поэтому в общем-то практически тоже самое что хром/другие браузеры серверные.

[RR40]

Александр Аксентьев: Написал вам письмо.

Answer 2

[Максим Тимофеев]

Для блогов: любой php framework, на котором удобно сделать мультисайтовую cms
Для системы парсинга: php, curl, куки, cron
Для системы рассылок контента: тут вопрос куда это надо рассылать? На почту? Если это связующее звено между первым и вторым, то это рудимент. Так как парсим в базу и берем из базы, зачем посредник, но если смысл есть, то тот же php.

Если надо семантически разбирать парсеный контент, то был openSource у yandex, на базе нейронных сетей. Хотел быстро найти и ссылку дать, но не нашел. Но он есть.

Comments

[Stalker_RED]

Для системы парсинга: php, curl, куки, cron

В каком смысле "куки"?

[RR40]

Почему для блогов нельзя взять Ghost и использовать его API для размещения постов ? Зачем делать что-то свое ?

[Максим Тимофеев]

Stalker_RED: что бы авторизоваться на ряде ресурсов, нужно передавать куки, надо понимать что такое куки

[Максим Тимофеев]

RR40:

Почему для блогов нельзя взять ...

Что бы понять, что взять надо более широко понять что Вы имеете в виду под "Блоги".