Пользователь пока ничего не рассказал о себе

Достижения

Все достижения (1)

Наибольший вклад в теги

Все теги (6)

Лучшие ответы пользователя

Все ответы (3)
  • Как правильно спроектировать систему парсеров?

    @qwerz123
    Сейчас, при необходимости, поддерживаю систему из 300 парсеров (система сравнения цен на товар у раных магазинов).
    Написано на C#. Каждый парсер возвращает "Каталог", т.е. переделанный под свои нужнды обычный спискок. Каталог содержит все товары у магазина. После возвращения делает обработку данных и обновляет/записывает в базу данных. В системе нет ничего особенного. В зависимости от Ваших нужд, Вы сами разберётесь как лучше сделать парсеры. Это не самое сложное.
    Главная проблема в том, как эти данные обрабатывать. Товары есть одни и те же, но по разному написаны, категории у продуктов разные и в разном порядке ("мужская обувь -> ботинки". Или "Ботинки -> мужские" и т.д.). Больше всего времени уходит именно здесь при добавлении нового магазина. Не знаю вашего задания, но посоветую именно здесь обратить больше всего внимания. У нас сделано xml-парсер для каждого магазина, который кидает кидает категории магазина в категории на сайте по ид. Например:

    <group>
       <searchByRegex>обувь -> мужская</searchByRegex>
       <to>12345</to>
    </group>
    
    <group>
       <searchByRegex variable="Name">Lego</searchByRegex>
       <to>54321</to>
    </group>


    Конечно Вы сами знаете как лучше для Вашего задания сделать, но надеюсь что немного облегчю вам выполнение работы.
    Ответ написан

Лучшие вопросы пользователя

Все вопросы (4)