Какую архитектуру заложить в парсер, который парсит несколько источников на Laravel?

Question

[verygoodboy]

Собираюсь создать парсер сайтов с использованием Laravel. Я не встречал нормальных примеров где можно было увидеть хорошее архитектурное решение, чтобы можно было все удобно спроектировать и в дальнейшем было легко поддерживать код и масштабировать.

Задача такая.

Допустим это будет сервис, который запускается каждый день в определенное время (по крону или вручную по команде, это не принципиально) и скачивает информацию о вакансиях по определенному тегу из разных источников. Сохраняет эту информацию в бд.

Есть такие вопросы:

• Так как собирается информация из разных источников (количество может меняться) то как этим управлять? Писать для каждого источника свой парсер и запускать их по очереди? Я здесь не знаю правильного оптимального решения.
  
• Есть ли для такого решения паттерн проектирования, который можно было бы удобно применить?
  
• Нужны ли отдельные модели и таблицы в БД для информации для полученой информации по каждому отдельному сервису который парсим или лучше все складывать в одну таблицу где будет столбец service_id с соответствующим id сервиса?
  
• Думаю, что нужно применять очереди. Какие задачи лучше складывать в очереди?
  

Answer 1

[Сергей delphinpro]

Для реализации парсинга различных источников подойдет паттерн "стратегия"

interface IParser {
  public function parse();
}

class Source1Parser implements Iparser {}
class Source2Parser implements Iparser {}
class Source3Parser implements Iparser {}

// где-то в программе

$source = 1;
$parser = match ($source) {
  1 => new Source1Parser(),
  2 => new Source2Parser(),
  3 => new Source3Parser(),
}
$data = $parser->parse();

Comments

[verygoodboy]

спасибо, то что нужно

[Сергей delphinpro]

verygoodboy, Можно избавиться от match и не придется дописывать это место при добавлении новых источников.
Нужно просто сопоставить источник с именем класса парссера

$source = '\\Parsers\\Source1Parser';
$parser = new $source();
$data = $parser->parse();

B потом просто добавляем файлы с классами для источников в папку.

[verygoodboy]

Сергей delphinpro, а если запустить все парсеры? Например, добавляем объекты всех парсеров в массив и проходим по массиву этих объектов форичем и на каждой итерации отправляем $parser->parse(); в очередь где задача будет запущена в фоновом режиме. Такой подход будет корректным?

[Антон Неверов]

verygoodboy, Не могу пройти мимо, не посоветовав отличный ресурс с паттернами. В том числе и по Стратегии.

[verygoodboy]

Антон Неверов, Спасибо. Я знаком с этим ресурсом и некоторыми известными паттернами, но еще не научился мыслить через призму паттернов в контексте решения задач.

[Сергей delphinpro]

Антон Неверов, то же самое, но с примерами на php
https://designpatternsphp.readthedocs.io/ru/latest...

[Сергей delphinpro]

verygoodboy,

Такой подход будет корректным?

думаю, да