Чем можно легко сгенерировать создание sql таблицы и insert данных на основании словаря?

Question

[Алексей Беспалов]

Входные данные:
Парсится большой лог-файл и на основе него создается словарь {param_name: value}. Таких параметров 15-20.
Словари собирается в массив словарей.

Что нужно:
На основе этого массива словарей создать таблицу в sql базе (причем желательно чтобы код поддерживал несколько баз: msssql, postgres, sqlight). Т.е. имена параметров станут именами колонок. Причем в каждом словаре могут быть разные параметры. Но тут соберу массив уникальных колонок, это не проблема.
И далее на основе этого словаря заполнить таблицу.

Данную задачу я реализовывал на python. Сначала на обычных запросах, которые генерировались в циклах, но далее перешел на ORM sqlalchemy и весь код сократился буквально до нескольких строк.

#CREATE TABLE
    dbTable = Table(db_table, metadata, *l_Column)
    metadata.create_all()
#l_Column - список имен колонок
***
for params in lparams:
    ins = dbTable.insert().values(**params)
    result = conn.execute(ins)

#lparams - список словарей

Очень просто и надежно получилось.

Хочу переписан на C#. Но не знаю как подойти к задаче, чтобы реализовать похожим способом.
Подскажите?

Answer 1

[Voland69]

Я бы попробовал пойти вот таким путем:
1. Парсим файл и собираем словари.
2. При помощи TypeBuilder из сборки Reflection Emit формируем нужные типы.
3. Берем Entity Framework и по полученной модели собираем дата контекст и создаем базу.

Comments

[Алексей Беспалов]

Спасибо!
Объект я вроде создал, но что дальше с ним делать я не понимаю. Дайте ещё направление.

//ADD my object
                List<String> lcolumns = new List<string>();
                lcolumns.Add("time");
                lcolumns.Add("usr");
                lcolumns.Add("param1");

                var columns = lcolumns.Distinct().ToArray<String>();

                //Генерируем объект
                AssemblyName ClassTable = new AssemblyName("ClassTable");
                AssemblyBuilder ab =
                    AssemblyBuilder.DefineDynamicAssembly(
                        ClassTable,
                        AssemblyBuilderAccess.Run);

                ModuleBuilder mb =
                    ab.DefineDynamicModule(ClassTable.Name);

                TypeBuilder tb = mb.DefineType(
                    "MyType",
                    TypeAttributes.Public); 

              

                foreach (String colomn in columns) {
                FieldBuilder column= tb.DefineField(
                    colomn,
                    typeof(String),
                    FieldAttributes.Public);
                }

                Type tTable = tb.CreateType();                
                object oTable = Activator.CreateInstance(tTable);   
???

[Voland69]

Алексей Беспалов, а дальше интереснее - EF позволяет генерить базу из DataContext, а он в свою очередь есть DbSet - где Т - тип сущности, которую вы хотите сохранять в базе.
вот пример из дока как это выглядит
Соль в том, как отдать ваш сгенеренный тип EF и запустить инициализацию базы по готовности.
Type parameter ЕМНИП должен быть известен на этапе компиляции, так что возможно нужно будет определить пустой тип

public class Param
{

}

объявить DbSet, DataContext и прочее
набить класс свойствами при помощи рефлексии и создавать экземпляр дата контекста.

P.S. возможно можно сделать проще, но я не сталкивался.