@AlexandrBirukov

Scrapy как сохранять большие объемы данных?

Всем привет и заранее спасибо за ответы.
Не пинайте, только начал разбираться, подскажите как сохранять большие объемы данных? Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?
  • Вопрос задан
  • 506 просмотров
Решения вопроса 4
@moh-mog-drinks
Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?


А при чем здесь Scrapy?????
Вам виднее что вы потом собираетесь делать с этим файлом.
При последовательной построчной обработке - никаких проблем хоть с миллиардами строк не будет.
А вот если вам понадобится произвольные строки удалять или обрабатывать не подряд - это гемойнее.
Ответ написан
@fireSparrow
В целом, конечно, это зависит от того, как вы потом хотите с этими данными работать. Но вообще каких-то особых проблем быть не должно, 400 000 строк - это не так уж и много.
Ответ написан
dimonchik2013
@dimonchik2013
Антон Цуцанский, нехороший человек
спокойнее пихать в монгу, особенно когда JSON, и постобрабатывать, удаляя

в файл может случиться кодировочка не та... и снова рестарт
Ответ написан
2ord
@2ord
продвинутый чайник
Данные, конечно же, сохранять в реляционную СУБД, хоть SQLite, хоть MySQL.
400 тыс. строк это фигня. даже для SQLite.
С СУБД просто работать: чтение записей с лимитом по 1000 штук или всех сразу, делать всякие выборки по условиям и т.д.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@AlexandrBirukov Автор вопроса
ок, всем спасибо, буду в бд заливать все
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы