Slava Rozhnev

Хороший вопрос, хотя и задавался миллион раз.

Когда у вас выполняется запрос

SELECT * FROM users WHERE DATE(created_at) = '2024-04-14'

то СУБД должна пройти весь индекс до конца, получить каждое значение created_at, применить к нему функцию, сравнить с переданным значением, и добавить строку в результат запроса.

Когда у вас выполняется запрос

SELECT * FROM users WHERE created_at BETWEEN '2024-04-14 00:00:00' AND '2024-04-14 23:59:59'

То СУБД находит бинарным поиском первое нужное значение, потом бежит по заранее отсортированному индексу и возвращает все значения до последнего, подходящего под второе условие.

Кластерный индекс... это на самом деле понятие крайне виртуальное.

Что такое обычный некластерный индекс? берём выражение индекса, считаем его значение для каждой записи, сортируем и пишем на диск. Получаем отдельную структуру, в которой выражение индекса сортировано. Когда потребуется искать заданное значение этого выражения, мы вместо просмотра от записи к записи сразу половинным делением быстренько найдём нужное значение, возьмём из него уникальный идентификатор записи, и обратимся за записью. Если в таблице 1000 записей, то для поиска заданного значения без индекса нам в среднем пришлось бы просмотреть 500 записей, а с индексом - всего 10.

Теперь что такое кластерный индекс... сначала почти то же. Берём выражение индекса, считаем его значение для каждой записи, сортируем и... а вот теперь не записываем по порядку эти значения с номерами соответствующих записей в отдельную структуру, а сами записи располагаем в этом порядке. Теперь, когда потребуется искать заданное значение этого выражения, мы вместо просмотра от записи к записи, как это было, когда записи не сортированы, сразу половинным делением быстренько найдём нужное значение. Но нам уже не надо получать номер записи и обращаться за ней - мы нашли саму нужную запись.

В MySQL (точнее, в используемом по умолчанию движке InnoDB) первичный индекс, во-первых, существует ВСЕГДА, во-вторых, определяется так (в статье, на которую дали ссылку, имеются неточности в пункте 2):

1. Если первичный ключ задан явно, то его выражение является также и выражением кластерного индекса. Или иначе - первичный ключ и есть кластерный индекс.
   
2. Если первичный ключ явно не задан, но в таблице имеется индекс, отвечающий всем следующим требованиям:
   
   • является уникальным
     
   • не является функциональным, в т.ч. не использует в выражении вычисляемые поля
     
   • не использует в выражении поля, которые определены как допускающие значение NULL
     
   
   то именно такой индекс используется в качестве первичного. А если таких индексов несколько, то используется первый по тексту запроса на создание таблицы
   
3. Если не имеется ни того, ни другого - генерируется синтетический скрытый 6-байтовый номер записи, который и используется как первичный ключ. Следует отметить, что штатных способов доступа к этому значению не существует.
   

Выглядит так, как будто это просто физическая сортировка данных по индексируемому полю.

Фактически - именно так.

Создаётся ли отдельная таблица или просто упорядочивается хранение существующих данных?

Не создаётся. Но при изменении первичного индекса таблица полностью пересоздаётся с новым физическим порядком записей.

Если данные упорядочиваются этим индексом, допустим по ID, то почему при select без сортировки данные могут возвращаться в произвольном порядке, а не отсортированные по ID по-умолчанию?

Если не задан явно ORDER BY, сервер имеет право вернуть записи в любом порядке, как ему удобнее. В большинстве случаев, но не всегда, он будет возвращать записи в порядке чтения с диска...

Представь такой (на самом деле невозможный, но не суть) случай - ты запросил таблицу. Вторая половина её ещё лежит в кэше, а первая уже выдавлена оттуда данными другой таблицы, нужными для выполнения запроса. Конечно, наиболее оптимальным будет начать передачу данных клиенту с этих записей, а пока они передаются, подчитать остальные, и передать их позже. Вот тебе порядок-то и поломался...

===

PS. Кстати, правило выбора индекса, который будет использоваться в качестве кластерного, имеет неприятный побочный эффект. Если у некоторых полей, входящих в какие-то индексы, изменяется свойство NULLability, то это может привести к изменению того, какой из имеющихся индексов станет использоваться в качестве первичного по пункту 2. В результате мы получим невозможность использования INSTANT / INPLACE методов, и будет использован длинный COPY. Впрочем, ситуация такая крайне редка.

Как сделать так, чтобы из сохраняемого JSON создать новую таблицу

Такой скрипт не должен создавать новые структуры в СУБД, он должен делать только вставки записей (insert-ы) в заранее подготовленные таблицы на этапе проектирования базы данных.

id-question: "идентификатор_вопроса_с_указанием_типа"
answer: "value":<ответ_на_вопрос>
date: "created":"<дата_ответа>"

Вот и создайте эту структуру ручками, create table вам в помощь.

и далее объединить с таблицей, где будут поля

Опять же, при вставке данных в базе не должно происходить модификации самой структуры базы.
Вы при выборке данных сопоставляете данные из одной таблицы с другой таблицей при помощи внешних ключей.
Запрос выборки будет иметь конструкцию join:

select *
 from  Answer A
  join Question Q on Q.id_question = A.id_question -- как раз соединение по ключам
  ...

В общем, учите мат. часть по реляционным СУБД.

Таблицы на основе генераторов или sequences обычно ствавят главной задачей - обеспечить
уникальность id в первую очередь. С эти sequence справляется.

Гарантировать блокировку или захват sequence они не могут так как Postgres создавался
как много-пользовательская БД. Тоесть много сессий обладают правом в любой момент
взять из sequence следующее значение. Поэтому требование хронологии - это как эксклюзивный
лок объекта. Слишком жесткое требование. И никому не нужное. Если б так БД работали то
они теряли бы в производительности и ждали-бы чтоб какая-то главная сессия отпустила таблицу.

Выход есть - брать ранг записи извне. Тоесть само приложение должно быть поставщиком
таких номеров. А БД будет просто их вставлять.

Еще вариант - в уже после загрузки обновить одно полей одной транзакцией как row_number
сортируя по любому признаку.

-n
--no-readline
Do not use Readline for line editing and do not use the command history
https://www.postgresql.org/docs/current/app-psql.html

Вы никогда не угадаете, сколько проживет конкретно ваш диск:
- Если он из супернадежной серии - он может сдохнуть через месяц.
- Если он из неудачной серии, где брак за первый год 60% - он может проработать 15 лет.
- Если вы пинаете системник время от времени - быстрый итог немного предсказуем.
- Если диск будет работать при температуре 55 градусов и выше - его век тоже не будет долгим.
- Троян шифровальщик может отправить все ваши данные в прошлое за один вечер.

Лучше всего исходить из парадигмы, что все жесткие диски одинаково НЕнадежны...

1. Открываем документацию.
   
2. Внимательно читаем.
   
3. Видим, что у функции есть третий аргумент, который как раз управляет тем, что будет передано в callback.
   
4. ???
   
5. Profit.
   

Но зачем всё это, если можно написать $arr['clients']['client1']? Для этого ключи в ассоциативном массиве и существуют, чтобы по ним обращаться к элементам.

Проверять, что результат запроса содержит данные о товаре. Если не содержит - показывать пользователю об этом сообщение.
Выполнение запроса с WHERE id = 'несуществующее значение' не является ошибкой само по себе, это вполне нормальная ситуация, которую нужно просто обрабатывать в коде.