Scrapy как сохранять большие объемы данных?

Question

[AlexandrBirukov]

Всем привет и заранее спасибо за ответы.
Не пинайте, только начал разбираться, подскажите как сохранять большие объемы данных? Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?

Answer 1

[moh-mog-drinks]

Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?

А при чем здесь Scrapy?????
Вам виднее что вы потом собираетесь делать с этим файлом.
При последовательной построчной обработке - никаких проблем хоть с миллиардами строк не будет.
А вот если вам понадобится произвольные строки удалять или обрабатывать не подряд - это гемойнее.

Answer 2

[Александр]

В целом, конечно, это зависит от того, как вы потом хотите с этими данными работать. Но вообще каких-то особых проблем быть не должно, 400 000 строк - это не так уж и много.

Answer 3

[Dimonchik]

спокойнее пихать в монгу, особенно когда JSON, и постобрабатывать, удаляя

в файл может случиться кодировочка не та... и снова рестарт

Comments

[Bjornie]

dimonchik2013 можно ли обойтись без СУБД?

[Dimonchik]

разумеется

но гемора с параллельным доступом может случиться, оно надо?

Answer 4

[d'Ivan]

Данные, конечно же, сохранять в реляционную СУБД, хоть SQLite, хоть MySQL.
400 тыс. строк это фигня. даже для SQLite.
С СУБД просто работать: чтение записей с лимитом по 1000 штук или всех сразу, делать всякие выборки по условиям и т.д.

Answer 5

[AlexandrBirukov]

ок, всем спасибо, буду в бд заливать все