Почему Rails gem activerecord-import не сохраняет записи в БД?

Question

[Руслан Галиев]

Здравствуйте
Использую Rail 3.2.13 , версия гема 0.3.1. БД MySQL. Гем решил использовать для сохранения большого количества записей в БД за раз. Порядка 200 тысяч. Решил вначале протестировать из консоли.

Loading development environment (Rails 3.2.13)
1.9.3-p448 :001 > statuses = [Status.new(name: 'test1'), Status.new(name: 'test2')]
 => [#<Status id: nil, name: "test1", validity: true, created_at: nil, updated_at: nil, info: nil>, #<Status id: nil, name: "test2", validity: true, created_at: nil, updated_at: nil, info: nil>]
1.9.3-p448 :002 > Status.import statuses
  Status Exists (0.3ms)  SELECT 1 AS one FROM `statuses` WHERE `statuses`.`name` = 'test1' LIMIT 1
  Status Exists (0.2ms)  SELECT 1 AS one FROM `statuses` WHERE `statuses`.`name` = 'test2' LIMIT 1
   (0.4ms)  SHOW VARIABLES like 'max_allowed_packet';
  Class Create Many Without Validations Or Callbacks (0.3ms)  INSERT INTO `statuses` (`id`,`name`,`validity`,`created_at`,`updated_at`,`info`) VALUES (NULL,'test1',1,'2014-08-27 11:36:59','2014-08-27 11:36:59',NULL),(NULL,'test2',1,'2014-08-27 11:36:59','2014-08-27 11:36:59',NULL) ON DUPLICATE KEY UPDATE `statuses`.`updated_at`=VALUES(`updated_at`)
 => #<struct ActiveRecord::Import::Result failed_instances=[], num_inserts=1>
1.9.3-p448 :003 > Status.all
  Status Load (0.3ms)  SELECT `statuses`.* FROM `statuses`
 => [#<Status id: 1, name: "test1", validity: true, created_at: "2014-08-27 07:36:59", updated_at: "2014-08-27 07:36:59", info: nil>, #<Status id: 2, name: "test2", validity: true, created_at: "2014-08-27 07:36:59", updated_at: "2014-08-27 07:36:59", info: nil>]

Но в БД записей нет. Только рельсы видят записи:) Вроде сделал всё как в описании к гему. Подскажите в чем ошибка?

update: Если после import создам ещё одну запись средствами ActiveRecord:
1.9.3-p448 :011 > Status.create(name: 'test3')
То все три записи окажутся в БД. Подскажите пожалуйста где зарыта собака?:)

Answer 1

[vsuhachev]

Видимо рельсы смотрят в правильную БД, а вы нет. Изучите файл config/databases.yml, возможно там есть разгадка

Comments

[Руслан Галиев]

нет я смотрю в правильную БД:) Если я из консоли потом делаю добаю ещё одну запись средствами ActiveRecord то все записи в БД успешно появляются.

[vsuhachev]

ОК, а смотрите чем? Похоже, что транзакция не закрывается. Попробуйте обрамить ваш код в transaction do .. end.

Ну и вопрос, вы рассматривали загрузку данных с помощью LOAD DATA INFILE? Все-таки 200 тыс. это уже прилично по объему.

[Руслан Галиев]

@vsuhachev Завернул всё в транзакцию все равно не помогло. У меня такое ощущение что COMMIT в конце не проходит:) Если смотреть логи сервера, то вижу только запрос, а COMMIT не вижу.

[Руслан Галиев]

@vsuhachev я данные гружу из XML файла.

[Руслан Галиев]

@vsuhachev Самое интересное что после команды import. Данных в БД нет, но рельсы держат блокировку на таблице, точно её не коммитят, хз чего ждут. Я проверил попробовал напрямую в БД сделать запрос, скуль говорит что таблица заблокирована. Но если я после это с консоле сделаю ещё обычный create, то появляются все записи в БД и блокировка снимается.

[vsuhachev]

Глядел исходники этого гема, ничего криминального внутри нет. Это просто обертка над multiple insert. У меня он работает отлично. Возможно проблема в каких то особенностях MySQL, например версия старая, включена какая-то настройка или что-то в этом роде. Выполните вручную sql, который в логе после Class Create Many Without Validations Or Callbacks, работает ли он?

Если не заведется гем, можно импортировать данные напрямую через execute('insert ...')

[Руслан Галиев]

@vsuhachev Вручную выполнял работает. Мне тоже кажется что такая то настройка в среде development есть, вот только какая. Мне ведь не единожды надо данные загружать а ежедневно, а некоторые ещё чаще.

[vsuhachev]

Возможно есть какой-то баг в рельсах. У меня такое было, пару дней парился с полиморфной связью на STI класс, в итоге оказалось - баг, пришлось сидеть какое-то время на beta-версии, в которой его уже починили.

[Руслан Галиев]

@vsuhachev Я уж хз что и делать?:)

[Руслан Галиев]

@vsuhachev Обернул в транзакцию в консоле сработало

Loading development environment (Rails 3.2.13)
1.9.3-p448 :001 > Status.transaction do
1.9.3-p448 :002 >     statuses = [Status.new(name: 'test1'), Status.new(name: 'test2')]
1.9.3-p448 :003?>   Status.import statuses
1.9.3-p448 :004?>   end
   (0.1ms)  BEGIN
  Status Exists (0.3ms)  SELECT 1 AS one FROM `statuses` WHERE `statuses`.`name` = 'test1' LIMIT 1
  Status Exists (0.2ms)  SELECT 1 AS one FROM `statuses` WHERE `statuses`.`name` = 'test2' LIMIT 1
   (0.3ms)  SHOW VARIABLES like 'max_allowed_packet';
  Class Create Many Without Validations Or Callbacks (0.2ms)  INSERT INTO `statuses` (`id`,`name`,`validity`,`created_at`,`updated_at`,`info`) VALUES (NULL,'test1',1,'2014-08-28 10:22:32','2014-08-28 10:22:32',NULL),(NULL,'test2',1,'2014-08-28 10:22:32','2014-08-28 10:22:32',NULL) ON DUPLICATE KEY UPDATE `statuses`.`updated_at`=VALUES(`updated_at`)
   (2.7ms)  COMMIT
 => #<struct ActiveRecord::Import::Result failed_instances=[], num_inserts=1>

Коммит в конце есть. Странно в описании к гему нигде про транзакцию ничего не написано.

[vsuhachev]

Отказаться от реанимации, и искать другие пути :) Я бы на вашем месте рассмотрел:
А: xml -> xsl -> плоская таблица -> LOAD FROM FILE
Б: SQL ручками

А - проще сделать (если данные простые + знакомы с xslt) но медленнее работает
Б - гибкость+производительность