Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

kuza2000, шикарно. Вот видишь какую тему разобрали.

Как управлять сторонней запущенной программой через python?

Тут надо сначала спросить что из себя представляет это взаимодействие? Это инжекция? Код внутри другого процесса? Сетевое взаимодействие? В таком кейсе процесс сервер открывает TCP/IP socket, Unix-socket. Или это IPC (inter-process-communication)? или в Windows тоже есть своя технология именованных каналов. В более продвинутом варианте в Linux есть D-Bus - такой себе универсальный протокол обмена сообщениями между всеми процессами ОС и даже между окошками.

Вобщем автор иди и ищи КАК оно взаимодействует. Без этого обсуждение будет просто гаданием.

Forth-процессоры программируются на Форт?

Сергей, спасибо.

Возможно ли логивать изменения файлов через sftp?

Anton B, я тебе предлагаю просто зайти в фолдер по SSH. И сделать git init. И начать трекать изменения вручную. И просто понаблюдать глазами что происходит. Какие возможны ситуации. Надо учитывать что вместо разработчика меняющего код - у нас sftp демон который ничего не знает про версионный контроль. Возможны разные ситуации которые просто мы не предусматривали. Всякие переименования фолдеров по 100000 файлов и прочие неприятности.

Если нарушитель может записать команду в поле таблицы SQL, означает ли это что он всегда сможет ее выполнить?

Вадим, найди любую бизнес-логику где пользователь что-то вводит в ячейку. И это "что-то" попадает в билдер запросов. И если это что-то никак не экранируется служебными эскейп-последовательностями - то поздравляю. Ты нашел уязвимость. Заводи critical issue. И тебе дадут бейджик. Или премию.

Как сделать плавный переход высот в шуме перлина?

Ты пишешь

Начал изучать процедурную генерацию

ты начал изучать ее на чем? На бумаге?

Я спросил про Java, потому что краем уха слыхал что манкрафт на ней написан. Вот я и подумал что возможно ты как-то с этим соприкоснулся. Извини если я тебя обидел. Просто я привык говорить более предметно. Чтоб был код.

Твой вопрос про камни и снег он пока не имеет никакого программного воплощения. Поэтому он - непонятен для большинства читающих. Я мог-бы накидать тебе советов по поводу градиентов или камней с альфа-каналом - но это всё мои чортовы фантазии. Они - беспредменты. Ну что мне - карандашом писать формулы?

Помоги внести в этот топик больше предметности. Исходник. Show me code, как говорил один финн.

Как можно получить карту мира ввиде одного или нескольких изображений с максимальной детализацией?

Даниил,

scala> (30720 * 17280 * 4) / 1024 / 1024 / 1024
val res10: Int = 1

Если она в RGB цвете и хранится в памяти в классической схеме RBG+Alpha - то вам надо 1Гб памяти чтобы ее открыть.

Ну дай бох. Терпимый размерчик. Как раз под фотошопные проекты.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Вместо констаты с дохлой говядиной я сделал рандомный поток байтов.

Zeroes     : 1706596
Dead beefs : 4568
(sizeof(int) + 1200) * 500 = (logical size of information) = 602000
Zeroes to Used : 0.727137

Вот. 72%. Теперь соотношение нулей к занятым байтам - примерно 3 : 4

Значит я сломал дедубликацию. Или сжатие блобов.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

kuza2000, верно. У меня тоже. Видимо от версии SQLite зависит. Теперь подсчет можно сделать не по байтам а по блокам. Моя логика такая. Если блок полностью пуст - то он не используется. И твой подсчет занимаемого места тоже долже базироваться на этом явлении.

Тебе надо фактически учитывать не длину файла. Потому что длина это фейк. Это ватерлиния. А считать занятые блоки. Вот это и будет полезная инфа к оценке объема.

Кстати ты слышал про SPARSE files?

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

kuza2000, ты уже узнал какой размер page наша версия SQLite использует? Внутри файла есть протяженность страниц которые вообще ничем не заполняются. Это либо пустое пространство между сегментами таблицы и индекса либо какая-то пре-аллокация. Кстати SQLite файл это не совсем формат внешнего файла. Это - зеркало памяти. MemoryMapping. В этом формат файла сильно отличается от Оракла например где внешний файл это именно файл а не память.

Что именно нужно изучить для того, чтобы уверенно разрабатывать чат боты на python, парсеры?

Что-то ты всего много написал. Ну начни с парсера.

Как можно получить карту мира ввиде одного или нескольких изображений с максимальной детализацией?

Даниил, что такое 32К?

Это 32 000 пикселов по горизонтали?

Как суммировать количество повторяющих значений?

Ты вопрос правильно поставь. Если тебе нужен подсчет повторяющихся - то зачем ты в итоге печатаешь НЕ-повторяющиеся?! Или ты хочешь быть умнее тех что тебе ответит? Хочешь дальше что-то сделать? Так скажи что будет в самом конце? Может тебе вообще это не надо.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Я советую тебе и мне почитать формат файла SQLite https://www.sqlite.org/fileformat.html
я думаю там будут ответы на все вопросы. Я уже устал экспериментировать.
Я просто лишний раз подтвердаю своё мнение что БД ставит своей задачей в первую
очередь регулировать скорость доступа к блокам (blocks, pages) данных а уже потом
позволяет тебе играть с экономией ресурсов.

Для экономии данных - почитай про BigData форматы Apache Parquet, Apache Orc вот у них все там в полном
пакете. И сжатие GZip/SNappy и вертикальная организация и упаковка sequences. Вот. Но если ты решил
гонять inserts/updates по ним - то сразу мимо кассы. Они не предназначены для этого.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Вот.

Connection conn = DriverManager.getConnection("jdbc:sqlite:C:/db/sqlite-demo/demo.db");
        conn.setAutoCommit(false);

        Statement st = conn.createStatement();
        st.execute("CREATE TABLE test(\n" +
                "    key INT,\n" +
                "    data BLOB,\n" +
                "    PRIMARY KEY (key)\n" +
                ") WITHOUT ROWID;");
        st.close();

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Чтоб сломать механизм дедупликации я бы предложил всместо одинаковых блобов писать рандомный шум. Это - более честное тестирование.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Переделал. Ничего особо не изменилось.

PreparedStatement pst2 = conn.prepareStatement("update test set data = ? where key = ?");
        byte[] deadBeef = prepareDeadBeef(BYTES); // DE AD BE EF ...
        System.out.printf("size(deadBeef blob) = %d\n", deadBeef.length);
        for(int i = 0; i < 500 ; i++) {
            pst2.setBytes(1, deadBeef);
            pst2.setInt(2, i);
            pst2.execute();
        }
        pst2.close();
        conn.commit();
        conn.close();

Статистика.

size(deadBeef blob) = 1200
Zeroes     : 2154456
Dead beefs : 160096
(sizeof(int) + 1200) * 500 = (logical size of information) = 602000
Zeroes to Used : 0.926039

Выглядит странно. Первое. Нули составляют 92% от всего объема сегмента данных. Такая странная избыточность.
Второе - количество дохлых коров внутри файла фактически меньше. Я делаю предположение что SQLITE
умеет дедуплицировать их. Но не всех а как-то внутри группы или блока.

602000 это грубо говоря логический размер данных так если-бы мы их писали в текстовый файл. Для оценки.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

Ну вот другое дело. 2 326 528 байтов.

По поводу контента. Щас посчитаю сколько вакуума и потерянного пространства.

Создаю таблицу в sql lite в обычном варианте, и в варианте c WITHOUT ROWID получается огромная разница в размерах. Почему размеры так отличаются?

kuza2000, не вопрос. Щас с 1200 байтов дохлой говядины сделаю.

Intervention image vs Upload.php class, как в первом варианте задать уменьшение качества до определённого веса файла?

С размером тут не угадаешь никогда. Ни одна библиотека не умеет апроксимировать размер без
полного сжатия-пережатия. Но можно уменьшать длину-ширину на какой-то коэффицинтик
например на 1.2 и проверять выполнилось ли условие. И повторить. Таким себе градиентным
спуском.