Задать вопрос
  • Как работает содержимое zip://'. $file_name. '#xl/sharedStrings.xml' в file_get_contents?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Штука называется Protocols and Wrappers, могут быть даже самописные.
    Ровно та же самая вещь, почему file_get_contents умеет делать http запросы.
    Ответ написан
  • Как применить ON CONFLICT для отслеживания изменений при INSERT?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Возможно ли не встравлять в таблицу записи, которые уже присутствуют в таблице?

    Возможно. Если вы этим знанием свой предметной области поделитесь с СУБД и создадите уникальное ограничение. А скорей всего это вовсе натуральный первичный ключ.

    on conflict работает как ни удивительно при конфликте уникальности. Поэтому пока у вас никто не гарантирует уникальность данных - on conflict ничего не сделает.
    Ответ написан
    Комментировать
  • Можно ли как-то оптимизировать этот SQL запрос?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Попробуйте так:
    SELECT Prop.*, coalesce("counters".countAllUnits, 0) AS "countAllUnits", coalesce("counters".countVacantUnits, 0) AS "countVacantUnits"
                        FROM "Property" AS Prop
                        INNER JOIN LATERAL
                        (
                         SELECT COUNT(*) AS countAllUnits,
    count(*) filter(where "Unit".status = 'Vacant') as countVacantUnits
                         FROM "Unit"
                         WHERE Prop."id" = "Unit"."propertyId"
                        ) AS "counters" ON true
                        WHERE  Prop."userId" IN (
                              SELECT id FROM "User" WHERE  "companyId" = 200001
                        )
                        ORDER BY Prop."userId" ASC LIMIT 10 OFFSET 0

    Ожидание: раннее отсечение limit 10 и nested loop именно от них.
    Ответ написан
    3 комментария
  • Как создать триггер для ограничения операторов CREATE в ночное время?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Вы с какой-то очень не той стороны хотите подойти к задаче. Вопрос на который надо искать ответ - зачем вы это хотите?

    В нормальном виде у вас вообще нет такой задачи уже на уровне прав - DDL запрещены вовсе для пользователя приложения. А для людей - решается не техническими средствами, а организационно. То есть к проду в любое время суток нет доступа на изменение схемы людьми (а вообще-то и на чтение людьми тоже, для людей доступ к не боевой реплике), которые не отвечают за последствия своих действий. А специалистам, у которых доступ должен быть - чинить препятствия странно, хоть днём, хоть тем более ночью (когда критичные вещи и могут выкатываться).

    Впрочем, event triggers могут быть ddl_command_start для ряда create команд.
    Ответ написан
    1 комментарий
  • Что будет с первичным ключом если создать таблицу без указания PRIMARY KEY?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Но первичный ключ является обязательным для каждой таблицы

    С точки зрения реляционной теории и нормальных форм в частности.

    С точки зрения SQL - не обязателен. Таблица может не объявлять первичный либо даже какой-то уникальный ключ. Дальше - детали реализации.

    В PostgreSQL никакой даже суррогатный первичный ключ в этом случае создаваться не будет. Адресация строк в PostgreSQL выполняется по TID (tuple ID) - физическому адресу строки в датафайле (и потому TID уникален в таблице), в том числе при поиске по первичному ключу. Но TID - не индекс, никак не связан с хранимыми данными и не накладывает каких-либо ограничений на данные.
    Ответ написан
    3 комментария
  • Как импортировать базу данных Postresql в пустую базу данных?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Peer authentication failed for user "MyUser"

    То есть первым подходящим правилом pg_hba.conf была peer проверка, требующая чтобы имя пользователя ОС совпадало с запрошенным именем пользователя базы. Что судя по ошибке не выполнено.

    Что делать? Править hba или скорей всего у вас и так настроен вход по паролю при подключении по tcp/ip. То есть psql -h 127.0.0.1 ... вероятнее всего пароль спросит.
    Ответ написан
    Комментировать
  • Как перенести одну базу данных postgres в другой кластер?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    pg_dump + pg_restore - это как раз самый быстрый, если под "быстрый" подразумевать общие затраты времени на задачу и минимальные проблемы, а не минимальное окно потерянной записи.

    В остальных случаях для переноса базы вам нужна какая-то логическая репликация. Триггерная или что-то на основе logical decoding (например логическая репликация в pg10+). Грабли с любыми изменениями схемы данных в комплекте

    Граничный случай: если одну или несколько баз необходимо выселить в новый кластер. Тогда делаете потоковую реплику, когда догонит рестартуете в мастер и удаляете с неё ненужные базы.
    Ответ написан
    Комментировать
  • Что использовать, size_t или int в цикле for?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Выбирайте тот тип данных, который вам действительно нужен.
    Если у вас в цикле пара миллионов итераций максимум - то зачем вам 64-битное целое?
    Если же вам действительно мало 32-битного числа - то вы не можете использовать ни int ни size_t для этих целей, вы должны использовать именно 64-битное целое независимое от платформы.
    А если у вас пара десятков итераций в прыжке - то вам и int слишком большой, возьмите что-нибудь поменьше.

    Разным задачам нужны разные типы данных.
    Ответ написан
    8 комментариев
  • Бывают ли у таблиц свойства?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Динамические (вычисляемые) колонки в mysql есть начиная с 5.7 ветки: https://dev.mysql.com/doc/refman/5.7/en/create-tab...

    Бывают virtual - вычисляются при обращении, бывают stored - вычисляются перед записью и хранятся на диске.
    Ответ написан
    Комментировать
  • Как правильно искать поля типа NULL через LIKE?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Вы начните с вопроса - а что вы получить-то хотите? Исходя из этого уже конструируйте запрос. Потому что все 3 запроса в вопросе полностью корректны и именно что и должны вести себя различным образом.

    С вариантами типа функция(поле) like 'pattern' - аккуратнее. Для большинства субд это обозначает сознательный отказ от использования индексов по этому полю. Для like '%pattern%' впрочем это и так справедливо для любых btree, не префиксовый поиск вести по btree штука закономерно не эффективная.

    PS: и ой большое опасение у меня по этому фрагменту что у вас sql инъекции открыты во всю свою ширину.
    Ответ написан
    5 комментариев
  • Как перенести данные из одной БД в другую БД?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    возможно банальный
    insert into db2.table (...) select .... from db1.table

    Непонятно, нужны ли какие-то преобразования, а для простого копирования нужны только права на обе базы и простые запросы.
    Ответ написан
  • Debian 9 как обновить?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    apt-get upgrade - это относительно вежливое обновление, в частности (man apt-get)
    New versions of
    currently installed packages that cannot be upgraded without
    changing the install status of another package will be left at
    their current version.


    Более агрессивный вариант - это apt-get dist-upgrade
    Ответ написан
    Комментировать
  • Как безопасно применить Vacuum на террабайтую БД Postgress?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    vacuum - запустить vacuum. В нём нет ничего страшного, если вы не отстрелили себе ноги, то база сама его запускает согласно настройкам.

    vacuum full - история очень сильно отдельная, т.к. это ни разу не vacuum.
    Места под vacuum full надо под копию таблицы с индексами и на запись этой копии в WAL. То есть теоретически до двукратного объёма.
    Поскольку для рабочей базы возможность уйти на сколько-то часов штука неинтересная - vacuum full по большим таблицам не делают.
    Есть pg_repack делающий с помощью триггера и чёрной магии копию таблицы (место всё так же нужно свободное), после накатывает изменения в основной таблице и заменяет основную на свежую копию. В целом - то что делает vacuum full, но без тяжёлой блокировки таблицы.
    Есть pgcompacttable, идущий другим путём. postgresql пытается новые строки размещать в начале таблицы, поэтому фиктивные обновления строк в конце таблицы скорей всего переместятся в начало, а пустые страницы в конце может срезать обычный vacuum. Плюс перестроить индексы (правда не все). Обновление inplace, запас места под копию не требуется. Полную блокировку таблицы конечно тоже не берём.
    Ответ написан
    Комментировать
  • Как сохранить ассоциативный массив в redis?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Ассоциативный массив это hash, соответственно группа команд для этого типа данных: https://redis.io/commands/hgetall

    (глядя на теги) Для например phpredis реализованы
    Ответ написан
  • Как ускорить создание индекса в PosgGreSQL?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Какого индекса? Возможно сюрприз, но они сильно разные.

    1) PSQL создает индекс в одно-поточном режиме. Это 10% от всей производительности cpu.

    psql - это клиент, он вообще не создаёт индексы.
    postgresql - начиная с 11 версии умеет многопоточное создание btree. Хотя, наверное, вернее будет сказать сортировку.

    2) Как я понял он считывает базу перерабатывает и сжимает. (В одно-поточном режиме это происходит оч медленно.)

    Не базу, а таблицу. Один раз полный seqscan для create index (с блокировкой записи) или два seqscan для create index concurrently (без блокировки таблицы).
    Ничего не сжимает.

    3) Из-за того что он медленно перерабатывает данные, он не использует всю скорость ссд на котором расположена база.

    Ну смотря какие диски. Дешёвые SSD вполне можно озадачить временными файлами в большом количестве и одним ядром CPU, видел и такое.

    Для ускорения построения большого индекса нужна память maintenance_work_mem. Сколько не жалко. 10, 20, 30, 100гб.
    На postgresql 11 - плюс настроить число воркеров max_parallel_maintenance_workers, max_worker_processes, max_parallel_workers

    но не нашел как их реализовать

    Если хотите поучаствовать в разработке самого postgresql - welcome в список рассылок pgsql-hackers. Как делали parallel create index можно почитать по ссылкам с коммита.
    Ответ написан
    Комментировать
  • Как восстановить БД имея только .frm и .idb файлы?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Скопируйте весь /var/lib/mysql/ и запустите базу, лучше той же major версии, поглядывая за логом.
    Ответ написан
    Комментировать
  • Как найти в базе поля по шаблону "наоборот"?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    where 'ct_head_short' like template
    seqscan ожидаемо, но для малого числа строк работать будет
    Ответ написан
    Комментировать
  • Где найти книги по БД или SQL в которых подробно описаны транзации?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Подробно? Суровая книжка? Тогда вам путь вот сюда:
    Transactional Information Systems Theory, Algorithms, and the Practice of Concurrency Control and Recovery, Gerhard Weikum и Gottfried Vossen
    Ответ написан
  • Почему может не реплицирвоватся База Данных postgresql?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    выводы \l+ и \dt+ в проблемной базе на мастере и реплике совпадают?

    При потоковой репликации реплика является точной бинарной копией мастера.
    гипотезы:
    повреждена база, но активности в ней нет и потому остаётся незамеченным
    лишние файлы на мастере
    Ответ написан
  • Как запретить ввод данных в колонку в sql таблице?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    Ваша субд не умеет generated columns? Например, mysql умеет
    В более общем случае - добавляете триггер, в котором высчитываете новое значение и таким образом игнорируете все попытки его исправить вручную.
    Ответ написан
    Комментировать