Где лучше сохранять парсенные данные через Scrapy?
Для начала сразу хотелось бы уточнить, что конечный интересующий меня формат данных это .XML. Но все-таки хотелось бы узнать куда лучше всего сохранять данные при парсинге, чтобы это было: наиболее быстро, надежно и удобно.
После чтения некоторых тем и уроков я понял, что структурированные данные вполне достаточно хранить в MySQL, обратное - в Mongo.
Также удобство БД в том, что можно на лету проверить есть ли уже в БД конретный товар (в нашем случае по ASIN), и в таком случае либо обновить его, либо добавить новый, либо ничего не делать.
Добавлю (если это важно): парсер планируется поставить на какой-нибудь VPS и будут парсится около 500к товаров (цены и наличие), т.е. очень важна скорость и стабильность.
Наиболее быстро - в память, надежно - в тетрадку, удобно - это зависит от привычек.
Все популярные БД достаточно быстры, чтобы не быть бутылочным горлышком на этой задаче.
А вот парсер вполне может им оказаться.
