Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

mayton2019, миллион записей составят 22 Гб. С чего там блоки станут полностью заполнятся, если они в файле 22 Мб не заполняются? Размер блока 4 Кб. В принципе, могу запустить сейчас на ночь, но смысла не вижу.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

mayton2019,

SQLite version 3.37.2 2022-01-06 13:25:41
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

mayton2019, что это даст, что проверяем?

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

открой бинарник во втором варианте в Hex редакторе и просто посмотри на него с прищуром.

Именно так я и сделал сразу. Да, много пустоты.

открой бинарник во втором варианте в Hex редакторе и просто посмотри на него с прищуром.

Увеличил число строк в 10 раз. Результат:
6852К
23416К
Пропорция сохраняется.
В том и вопрос - деревья-то почти одинаковые. Вставка идет в том же порядке. Индекс всегда возрастает.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

692 КБ - это записи по 3 поля и два дерева.
2347 Кб - это те же записи за минусом одного поля и без дополнительного (и не нужного) индекса.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

mayton2019, какие законы арифметики? Если данные поместились в первом случае в 692 КБ, то почему они же (даже чуть меньше) во втором случае занимают в 3 раза больше места. Они точно должны занимать не больше этого значения.

Есть ли fill factor для sqlite3?

Я не специалист именно по SQlite но я тебе хочу сказать что не стоит завязываться на какую-то стандартную библиотеку питона.

У меня другое мнение. Если по всем критериям подходит стандартная библиотека - зачем использовать что-то еще? Тем более, чем меньше зависимостей, тем лучше.

А SQLite он потому и лайт потому-что изначально делался для in-memory и мобил.

Там вполне себе нормальный серьезный движок, на B-деревьях со всеми вытекающими. С терабайтами данных он управляется так же легко, как и, к примеру, MS SQL.
Там другие ограничения - в частности, по уровням изоляции транзакций и гранулярности блокировок. То есть, он не предназначен для многопользовательской работы. А объем данных ему не важен. Собственно, по всем параметрам это то, что мне нужно.
А еще я поковырял двоичную структуру листьев кластеризованной таблицы, и мне понравилось, как там сделана упаковка данных :)

У вас есть хотя бы один реальный аргумент против sql lite?

Есть ли fill factor для sqlite3?

mayton2019, сжатие уже сделано, причем выбирается один из трех поддерживаемых алгоритмов сжатия :)

Все работает достаточно хорошо, и я точно не буду писать свою БД)) Хотя до последней версии был мой специализированный движок, но я все же решил отказаться от него, так как sqlite идет в составе стандартной библиотеке питона и достаточно неплохо работает с blobs. Хотя все-же чуть медленне собственного, процентов на 10.

Все, что я хочу - это поиграть fill factor, если он есть у sqlite, о чем, собственно и вопрос. Есть мнение, что fill factor = 100 в данном кейсе использования позволит уменьшить размер базы и немного ускорить ее работу.

Вот проект, если интересно https://github.com/hal9000cc/live_trading_indicators
Вот про прошлый движок статья: https://habr.com/ru/post/706074/

Есть ли fill factor для sqlite3?

Я не только читал про B+Tree, я их делал и точно знаю что мне нужно. В эту базу идет только запись, последовательными сериями ключей, причем время записи не критично. Нужно обеспечить максимальную компактность и скорость чтения.

Мне не кажется это перфекционизмом. Если для ощутимого улучшения можно просто изменить одну настройку, то почему бы это не сделать? На скорость выборки ее изменение тоже влияет в лучшую сторону в данной ситуации (из-за уменьшения объема читаемой информации).

Есть ли fill factor для sqlite3?

Спасибо, полезная информация. Но ответа на вопрос я там не нашел.

Есть ли fill factor для sqlite3?

Константин Цветков, ну так данные же в кластерном индексе и лежат.

Странная подмена IP адреса, как исправить?

Это была моя первая мысль. Но, судя по ответу выше, все проще...

Странная подмена IP адреса, как исправить?

Константин Цветков, Да, с доступом по адресу все хорошо. Проблема в подмене моего обратного адреса, когда я обращаюсь на другие ресурсы. Предположительно, зарубежные, и не всегда.
Причем адрес меняется вне моей сети.

Странная подмена IP адреса, как исправить?

15432, Тогда получается, они внутрь SSL соединения залезают? Иначе же невозможно подменить адрес? Или возможно? Я не очень хорошо в технологии интернет-соединений разбираюсь...

Странная подмена IP адреса, как исправить?

Да, забыл написать. Менял DNS на роутере 8.8.8.8, 8.8.4.4 - это не помогает.

Реально ли взломать RAR?

Page-Audit.ru, cRARk 5.5 for Linux, with OpenCL support, 64-bit version