Задать вопрос
  • Как перенести одну базу данных postgres в другой кластер?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    pg_dump + pg_restore - это как раз самый быстрый, если под "быстрый" подразумевать общие затраты времени на задачу и минимальные проблемы, а не минимальное окно потерянной записи.

    В остальных случаях для переноса базы вам нужна какая-то логическая репликация. Триггерная или что-то на основе logical decoding (например логическая репликация в pg10+). Грабли с любыми изменениями схемы данных в комплекте

    Граничный случай: если одну или несколько баз необходимо выселить в новый кластер. Тогда делаете потоковую реплику, когда догонит рестартуете в мастер и удаляете с неё ненужные базы.
    Ответ написан
    Комментировать
  • Что использовать, size_t или int в цикле for?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Выбирайте тот тип данных, который вам действительно нужен.
    Если у вас в цикле пара миллионов итераций максимум - то зачем вам 64-битное целое?
    Если же вам действительно мало 32-битного числа - то вы не можете использовать ни int ни size_t для этих целей, вы должны использовать именно 64-битное целое независимое от платформы.
    А если у вас пара десятков итераций в прыжке - то вам и int слишком большой, возьмите что-нибудь поменьше.

    Разным задачам нужны разные типы данных.
    Ответ написан
    8 комментариев
  • Бывают ли у таблиц свойства?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Динамические (вычисляемые) колонки в mysql есть начиная с 5.7 ветки: https://dev.mysql.com/doc/refman/5.7/en/create-tab...

    Бывают virtual - вычисляются при обращении, бывают stored - вычисляются перед записью и хранятся на диске.
    Ответ написан
    Комментировать
  • Как правильно искать поля типа NULL через LIKE?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Вы начните с вопроса - а что вы получить-то хотите? Исходя из этого уже конструируйте запрос. Потому что все 3 запроса в вопросе полностью корректны и именно что и должны вести себя различным образом.

    С вариантами типа функция(поле) like 'pattern' - аккуратнее. Для большинства субд это обозначает сознательный отказ от использования индексов по этому полю. Для like '%pattern%' впрочем это и так справедливо для любых btree, не префиксовый поиск вести по btree штука закономерно не эффективная.

    PS: и ой большое опасение у меня по этому фрагменту что у вас sql инъекции открыты во всю свою ширину.
    Ответ написан
    5 комментариев
  • Как перенести данные из одной БД в другую БД?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    возможно банальный
    insert into db2.table (...) select .... from db1.table

    Непонятно, нужны ли какие-то преобразования, а для простого копирования нужны только права на обе базы и простые запросы.
    Ответ написан
  • Debian 9 как обновить?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    apt-get upgrade - это относительно вежливое обновление, в частности (man apt-get)
    New versions of
    currently installed packages that cannot be upgraded without
    changing the install status of another package will be left at
    their current version.


    Более агрессивный вариант - это apt-get dist-upgrade
    Ответ написан
    Комментировать
  • Как безопасно применить Vacuum на террабайтую БД Postgress?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    vacuum - запустить vacuum. В нём нет ничего страшного, если вы не отстрелили себе ноги, то база сама его запускает согласно настройкам.

    vacuum full - история очень сильно отдельная, т.к. это ни разу не vacuum.
    Места под vacuum full надо под копию таблицы с индексами и на запись этой копии в WAL. То есть теоретически до двукратного объёма.
    Поскольку для рабочей базы возможность уйти на сколько-то часов штука неинтересная - vacuum full по большим таблицам не делают.
    Есть pg_repack делающий с помощью триггера и чёрной магии копию таблицы (место всё так же нужно свободное), после накатывает изменения в основной таблице и заменяет основную на свежую копию. В целом - то что делает vacuum full, но без тяжёлой блокировки таблицы.
    Есть pgcompacttable, идущий другим путём. postgresql пытается новые строки размещать в начале таблицы, поэтому фиктивные обновления строк в конце таблицы скорей всего переместятся в начало, а пустые страницы в конце может срезать обычный vacuum. Плюс перестроить индексы (правда не все). Обновление inplace, запас места под копию не требуется. Полную блокировку таблицы конечно тоже не берём.
    Ответ написан
    Комментировать
  • Как сохранить ассоциативный массив в redis?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Ассоциативный массив это hash, соответственно группа команд для этого типа данных: https://redis.io/commands/hgetall

    (глядя на теги) Для например phpredis реализованы
    Ответ написан
  • Как ускорить создание индекса в PosgGreSQL?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Какого индекса? Возможно сюрприз, но они сильно разные.

    1) PSQL создает индекс в одно-поточном режиме. Это 10% от всей производительности cpu.

    psql - это клиент, он вообще не создаёт индексы.
    postgresql - начиная с 11 версии умеет многопоточное создание btree. Хотя, наверное, вернее будет сказать сортировку.

    2) Как я понял он считывает базу перерабатывает и сжимает. (В одно-поточном режиме это происходит оч медленно.)

    Не базу, а таблицу. Один раз полный seqscan для create index (с блокировкой записи) или два seqscan для create index concurrently (без блокировки таблицы).
    Ничего не сжимает.

    3) Из-за того что он медленно перерабатывает данные, он не использует всю скорость ссд на котором расположена база.

    Ну смотря какие диски. Дешёвые SSD вполне можно озадачить временными файлами в большом количестве и одним ядром CPU, видел и такое.

    Для ускорения построения большого индекса нужна память maintenance_work_mem. Сколько не жалко. 10, 20, 30, 100гб.
    На postgresql 11 - плюс настроить число воркеров max_parallel_maintenance_workers, max_worker_processes, max_parallel_workers

    но не нашел как их реализовать

    Если хотите поучаствовать в разработке самого postgresql - welcome в список рассылок pgsql-hackers. Как делали parallel create index можно почитать по ссылкам с коммита.
    Ответ написан
    Комментировать
  • Как восстановить БД имея только .frm и .idb файлы?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Скопируйте весь /var/lib/mysql/ и запустите базу, лучше той же major версии, поглядывая за логом.
    Ответ написан
    Комментировать
  • Как найти в базе поля по шаблону "наоборот"?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    where 'ct_head_short' like template
    seqscan ожидаемо, но для малого числа строк работать будет
    Ответ написан
    Комментировать
  • Где найти книги по БД или SQL в которых подробно описаны транзации?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Подробно? Суровая книжка? Тогда вам путь вот сюда:
    Transactional Information Systems Theory, Algorithms, and the Practice of Concurrency Control and Recovery, Gerhard Weikum и Gottfried Vossen
    Ответ написан
  • Почему может не реплицирвоватся База Данных postgresql?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    выводы \l+ и \dt+ в проблемной базе на мастере и реплике совпадают?

    При потоковой репликации реплика является точной бинарной копией мастера.
    гипотезы:
    повреждена база, но активности в ней нет и потому остаётся незамеченным
    лишние файлы на мастере
    Ответ написан
  • Как запретить ввод данных в колонку в sql таблице?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Ваша субд не умеет generated columns? Например, mysql умеет
    В более общем случае - добавляете триггер, в котором высчитываете новое значение и таким образом игнорируете все попытки его исправить вручную.
    Ответ написан
    Комментировать
  • Как взять из MySql колонки из конца (!) таблицы, с лимитом 30, и рассортировать их в по увеличению id(34,35,36)?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Взять выборку и обернуть во второй select с обратной сортировкой.
    select fields,... from (
    select fields,... from tablename order by field desc limit 30
    ) as subquery
    order by field limit 30


    Впрочем, если подумать:
    (
    select fields,... from tablename order by field desc limit 30
    )
    order by field limit 30

    mysql умеет
    Ответ написан
    1 комментарий
  • Ошибка [1064] You have an error in your SQL syntax?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Ну я допустим совершенно солидарен с СУБД. Что вы хотели вот тут сказать?
    AND ( REPORT='NArray )

    не представляю. Найдите откуда это пришло и исправьте.
    Ответ написан
    Комментировать
  • Как выучить PostgreSQL?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    MySQL выучил

    Знаете, даже опытного DBA реально удивить чем-то, что оказывается в базе существовало уже десяток лет.
    Поэтому фраза "MySQL выучил" не воспринимается как-то иначе чем признание в невежестве. Я работал с mysql много лет, оказывается топ3 пользователь по этому тегу на тостере. Знаю я mysql? Ничего подобного. Даже исходник открывал всего 1 раз.

    Какой смысл вы заложили в фразу "MySQL выучил"? Как его можно выучить?

    по курсу от WebForMySelf

    Это тот перепечатник, описывающий функционал, который mysql до сих пор не умеет? mysql_query, когда такого расширения вовсе уже не существует в PHP?
    Надеюсь, 5 лет назад когда вы изучали - было приличнее.

    В качестве обзорной экскурсии по устройству PostgreSQL могу припомнить хорошую лекцию Владимира Бородина, поищите записи Ильи Космодемьянского.
    Мануал хотя бы один раз надо прочесть от начала до конца
    И практика. Без мануала вы не узнаете какие возможности есть, без практики - не поймёте как (и, к слову, зачем) ими пользоваться.
    Ответ написан
    1 комментарий
  • Ошибка синтаксиса (примерное положение: "ON"). Ошибка?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    А где тут ошибки нет?
    В теге указан postgresql, где синтаксис create database вот такой: https://www.postgresql.org/docs/current/sql-create...

    А ваш запрос как раз начиная со слова on никак не похож и явно от какой-то другой СУБД.
    Ответ написан
    1 комментарий
  • Как правильно использовать модуль multiprocessing с PostgreSQL?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    решил отказаться от SQLite даже для хранения ссылок на файлы

    А зачем?
    sqlite отличная самая распространённая в мире база (см. android, firefox, chrome - sqlite всюду)
    Слабо себе представляю sqlite в масштабе террабайта, а в масштабе пары мегабайт postgresql будет явный overkill.

    Ну а по теме - я не питонщик и по приведённому коду мне совершенно неясно что же вы делаете. Профилируйте своё приложение, ищите где теряете время.
    Ответ написан
  • Почему запрос отправляется не корректно?

    Melkij
    @Melkij
    DBA для вашего PostgreSQL?
    Начал писать комментарий про вот уже скоро 20 лет существования http/1.1, но впрочем всё чуть проще:

    https://tools.ietf.org/html/rfc2616#section-14.23
    A client MUST include a Host header field in all HTTP/1.1 request messages

    Вы грубо нарушили стандарт. Вы представились как HTTP/1.1 клиент, но не передали требуемый для этого стандарта заголовок Host.
    Некорректный запрос клиента - это код 400, сервер вам отвечает корректно.

    Минимально возможный запрос для HTTP/1.1 - это две строки:
    GET /... HTTP/1.1
    Host: api.vk.com

    Возможно потребуются ещё какие-нибудь заголовки, но это уже по необходимости. Браузеры типично отправляют много дополнительных заголовков.

    Одна строка была давным-давно допустима для HTTP/1.0, где на одном IP мог быть максимум 1 сайт. Большинство современных серверов вас выслушают по HTTP/1.0 но вряд ли вернут то что вы хотите, т.к. не будут знать, о каком домене вы спрашиваете и соответственно какому обработчику передавать запрос.
    Ответ написан
    Комментировать