Как написать бэкэнд под задачу?

Question

[Юрий]

поставлена задача написать сайт, который представляет данные с 30-60 сайтов в табличном виде..
у некоторых сайтов есть Xml файлик - но у большинства нет и как я понимаю нужно писать парсер:
1. Какой ЯП лучше подходит для этой задачи?(с учетом всех нужд)
2. Возможен ли вариант парсинга данных с разной периодичностью в зависимости от времени суток и с обновлением
этих данных в базе?(к примеру на выходных чтобы парсеры "отдыхали" и сайт показывал последние пятничные данные, либо же обновлял данные в базе намного реже, чем в рабочие дни)
3. При загрузке сайта Simple xml PHP парсит данные и сразу представляет их на сайте, могу я настроить парсинг и этих данных сначала в базу, а уже на сайт из базы?(уверен это должно влиять на скорость загрузки сайта? к тому же некоторые данные меняются только один раз в сутки и нет нужды делать запросы при каждой загрузке сайта)
прошу меня смело поправить, если я чего-то не понимаю)

Answer 1

[Makaveli]

1. Тот, которым владеете лучше. Или тот, который вам сейчас интересен и на изучение которого у вас сейчас есть время.
2. Да. Например, настраиваете задание в cron на нужные дни.
3. Да, можно. Сделайте отдельно парсер, который будет в нужные моменты времени парсить и класть нужное в базу, и отдельно инструмент, который будет выводить данные из базы.

Answer 2

[entermix]

1. Любой серверный, например PHP
2. Да, планировщик (cron) в помощь
3. А почему нет? Simple xml PHP парсит инфу, а куда ее отправить, это уже Ваше дело.

Answer 3

[Viktor Vsk]

Сделал инструмент на Ruby для парсинга произвольного количества источников используя формат JSON + немного псевдо-DSL - обертку над DOM-парсером (css/xpath селекторы + фильтры). В качестве бонуса - веб-админ, более-менее простое масштабирование, кое-какой Планировщик. Все очень сыро, но, надеюсь, будет активно разрабатываться. В какой-то мере, реально используется уже сейчас.

Надо понимать, что парсер - должен оставаться парсером. А вашу бизнес-логику (что куда добавить, когда что сохранить\кешировать в базу, когда что вывести) - должно решаться на уровне приложения

Судя по Вашему вопросу, Вам для реализации описанного нужен будет квалифицированный исполнитель. Но, авось, пригодится: https://github.com/victorvsk/apify-kit