Оптимизация работы с БД?

Question

[Богдан]

Здравствуйте. Насколько верный подход отходить от взаимодействия с model и переходит на ручное формирование запросов. У меня передаются большие массивы данных, но Active Record вставляет только по одной записи и при этом постоянно при каждой вставке идет запрос на все подчиненные таблицы, поэтому место одной вставки может идти 5 Select на подчиненные таблицы и сама вставка. При больше 5000 записей уже ощутимое время задержки. Потихоньку все на ручную вставку напрямую. Насколько все это верно, и какие проблемы кроме ссылочной целостности я могу отгрести. Спасибо.

ts_data.each { | ts |
              sql_values += ",(#{ id }," +
                            "#{ children_groups[ ts[ :children_group_code ] ] }," +
                            "#{ children[ ts[ :child_code ] ] }," +
                            "#{ reasons_absences[ ts[ :reasons_absence_code ] ] }," +
                            "'#{ ts[ :date ] }'," +
                            "'#{ now }','#{ now }')"
            }

            sql = "INSERT INTO timesheet_dates ( #{ fields } ) VALUES #{ sql_values[1..-1] }"

            ActiveRecord::Base.connection.execute( sql )
end

Comments

[Dmitri Sinitsa]

Вполне себе нормально.

[Богдан]

Еще вот хочу ссылочную целостность тоже проверять одним запросом к базе. насколько верно такой подход?

def children_code( codes )
   sql = "SELECT code, bb.code IS NULL as error " +
  "FROM UNNEST(ARRAY"+
      codes.to_s.gsub( '"', '\'' ) +
    ") AS code " +
  "LEFT JOIN children bb USING( code )"

  children = JSON.parse( ActiveRecord::Base.connection.execute( sql ).to_json, symbolize_names: true )
end

puts children_code( ['000000012','000000013','0000000147','000000015','000000016','000000017','000000018'] )

Answer 1

[Andrey Demidenko]

Есть bulk_insert и activerecord-import

Comments

[Богдан]

Я стараюсь без лишней необходимости чужие гемы не использовать, не всегда они работают правильно, и не всегда автор их адаптирует под новую версию Rails и Ruby. А отлаживать чужие глюки мне хватает и на фронтовой части, имел неосторожность писать проект на JQuery, теперь переписываю на Vanilly JS.