Как максимально быстро многопоточно читать из SQLite read-only базы в памяти?

Question

[Владимир]

Добрый день, При использовании Microsoft.Data.Sqlite с "Data Source=filename;Mode=Memory;Cache=Shared" можно создавать подключения к единой базе, НО из-за Cache=Shared производительность ниже чем read-only подключения к базе из файла. Пробовал PRAGMA read_uncommited = true, но не помогло.

База используется для замены LINQ->WHERE->ORDER BY... -> SKIP-> TAKE для ~1 млн объектов с ~20 полей из которых 10 string'и.

Как максимально быстро многопоточно (500 - 5000 параллельных SELECT'ов) читать из SQLite read-only базы?
Может есть какой-то кросс-платформенный VFS, который позволяет делать такое?!

Answer 1

[Владимир]

Необходимо использовать VFS MemDB: "Data Source=file:/inmem-filename.db?vfs=memdb"
Пример:

var memortFile = $"file:/{Path.GetFileName(databaseFilename)}";
var memoryConnectionString = $"Data Source={memortFile}?vfs=memdb";
var memoryReadOnlyConnectionString = $"{memoryConnectionString};Mode=ReadOnly";
var fileBasedConnectionString = new SqliteConnectionStringBuilder()
{
    DataSource = databaseFilename,
    Mode = SqliteOpenMode.ReadOnly,
    Pooling = true,
}.ConnectionString;

using (var inmemoryConnection = new SqliteConnection(memoryConnectionString))
{
    inmemoryConnection.Open();

    //Восстановить backup или SQLitePCL.raw.sqlite3_deserialize()
    using (var connection = new SqliteConnection(fileBasedConnectionString))
    {
        connection.Open();
        connection.BackupDatabase(inmemoryConnection);
    }

    StartConcurrentTest("IN MEM", threadsQuantities, memoryReadOnlyConnectionString);
}