Как оптимизировать вставку в базу данных?

Question

[FasterTans]

Делаю импорт товаров.
Есть несколько таблиц, товары, атрибуты и тд. Импорт происходит через XLS, товаров в одном файле может быть больще нескольких тысяч.
Самый оптимальный вариант, который приходит в голову:
1. Парсим первые N строк, формируемся инсерт для самих товаров и вставляем его.
2. Делаем запрос на получение айдишников вставленных товаров.
3. Формируем остальные таблицы с уже известной привязкой по айдишнику. Вставляем по таблицам.
4. Возвращаемся к пункту 1.
Все это обернуть в транзакцию.

Есть какие-то другие варианты, чтоб сократить\убрать количество запросов?

Answer 1

[idShura]

Insert Multiple Rows

Comments

[FasterTans]

Про вставку нескольких строк я знаю, это и имелось в виду в пунктух 1 и 3, что вставляться будут пачкой.
Меня интересует вопрос с тем как правильно их связать и как сделать это оптимально.

Answer 2

[Владимир Коротенко]

Я использую следующую технику. Прохожусь по источнику и собираю все словарные данные. Их вставляю и оставляю в памяти. После на втором проходе выбираю словари из памяти и вставляю уже готовые значения пакетной вставкой примерно по 10000 значений

Comments

[FasterTans]

Как вы получаете айдишники после первой вставки? Запросом? Т.е. делаете так как и предложил я?

[Владимир Коротенко]

FasterTans, Ну да
https://github.com/vkorotenko/FiasServer/blob/mast...

Вот этот кусок кода

private async Task ProcessHouse()
        {
            _houses = new List<House>();
            _buildNumNames = new List<string>();
            _houseNumsNames = new HashSet<string>();
            if (File.Exists(HouseNumFile) && File.Exists(BuildNumFile))
            {
                _buildNumNames.AddRange(File.ReadAllLines(BuildNumFile));
                var houses = File.ReadAllLines(HouseNumFile);
                foreach (var house in houses)
                {
                    _houseNumsNames.Add(house);
                }
                HouseComplete(this, new EventArgs());
            }
            else
            {
                _logger.LogInformation(DateTime.Now + " Start House dict");
                var proc = new HouseProcessor(_appConfig.FullPath);
                proc.Complete += HouseComplete;
                proc.ItemParsed += OnHouseParsed;
                Console.WriteLine();
                await proc.RunDictionary();
            }
        }