Django + Scrapy: какой подход выбрать?

Question

[Артём Иннокентьев]

Задача: надо из пропарсенных данных Scrapy сохранять данные через Django ORM.

Поискав, нашел несколько подходов:
1) Django Item
2) django-dynamic-scraper
3) Проинициализировать Django из под настроек Scrapy

Какой из подходов выбрать? У кого есть опыт использования одного из этих подходов (плюсы или минусы)?

Comments

[AlexandrBirukov]

Привет, решился ли вопрос? Подскажите как сделали?

Answer 1

[sim3x]

Попробуй все
При малом рпс и хорошей валидации данных - можно и сразу в джангу класть

Answer 2

[Dimonchik]

проблема Scrapy данных в том, что они могут быть неполными, отсюда - только NoSQL БД при первичном сохранении, данные же потом так или иначе надо обработать - избавиться от дублей, пустых, определить требуемые, но отсутствующие

я бы не связывался с таким комбайном, scrapy отдельно - обработка и представление django - отдельно