Как спарсить данные и загрузить их в проект?

Question

[Wentixon]

Здравствуйте, подскажите, куда лучше сохранять результаты парсинга и вообще на верном ли я пути?

Я так полагаю лучше всего при парсинге, парсить все как есть, чтобы при изменении требований с этими данными можно было сделать все что угодно, а не парсить все заново. А потом уже загрузчик этих данных должен отдельно загружать эти данные в проект. Думаю, куда лучше сохранять эти сырые данные (решил, что монго будет лучшим вариантом). Также как лучше сделать саму загрузку? Делать все в одном проекте неразрывно или взять какой нибудь легкий фреймворк и на нем уже все сделать и парсинг и загрузку.. Вообщем подскажите как это правильно делается

Answer 1

[sim3x]

django + scrapy запускать по крону

Comments

[Wentixon]

Можно более развернуто? Вопрос то был в том, как загрузить данные, а не спарсить.. Ну спарсит он.. Куда, как загружать их потом? Мне интересен сам процесс загрузки в мою базу

[sim3x]

Wentixon, в скрапи можно сохранять напрямую в модели джанги
Те напрямую в рабочий проект

[Wentixon]

sim3x, хм, ну у меня проект не на джанго же, к чему он мне

[sim3x]

Wentixon, значит нужно в вопросе указать все детали

Answer 2

[Dimonchik]

крипта? если данные не устаревают со временем ( например - ставки), храни у себя и выдывай когда нужно