Дмитрий Шицков, с одной стороны вы правы, задачу понять будет тяжеловато без остального кода из проекта. Да и сюда закидывать весь код проекта нереально.
Если кратко объяснить, от юзера мы получаем ссылки на парсинг, там могут быть разные сайты, и их нужно раскидывать по очередям, используя домены. А task_id, это то что нам возвращает пост запрос при отправке ссылок на парсинг. Сформируется task, сохраняются продукты в бд, статусом по дефолту. Это самая малая часть)
Дмитрий Шицков, К примеру если домен ozon то очередь - > ozon-card_offers-{self.task_id}. если yandex > то yandex-card_offers-{self.task_id}. У очередь и ключи должны быть одинаковые, коротко говоря queue = routing_key.
Код достался от коллеги мне) второй день сижу, не получается сделать нормально)
Justa Gain, Дружище, если тебе нужны подробности, могу показать код Django. Но сюда весь код скидывать не могу. Указал потому что использую его в проекте.
Пробовал, суть в том что, отправляю на парсинг штук 10 одинаковых ссылок, он создает мне один файл. Ну когда второй раз запускаю паука, конечно суффикс добавляется. Но мне нужно за один запуск паука, создать 10 уникальных файлов, для 10 одинаковых ссылок) Пока не получается никак
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Если кратко объяснить, от юзера мы получаем ссылки на парсинг, там могут быть разные сайты, и их нужно раскидывать по очередям, используя домены. А task_id, это то что нам возвращает пост запрос при отправке ссылок на парсинг. Сформируется task, сохраняются продукты в бд, статусом по дефолту. Это самая малая часть)