Как оптимизировать sql запрос с несколькими Join-ами в ActiveQuery Yii2?

Значит поправьте запрос в вопросе так, чтобы было видно, какие данные вы получить хотите и где они лежат. Я привёл полный эквивалент запросу в вопросе.

Как оптимизировать sql запрос с несколькими Join-ами в ActiveQuery Yii2?

поле disabled по которому фильтруете - оно в какой таблице вообще? А date_added, по которому сортируете? Предлагаете угадать?

Как в PostgreSQL выбрать значения значения которые есть в массиве, но нет в БД?

Алексей Черемисин, у меня получился запрос. Будет база делать цикл с подзапросом или как-то иначе его выполнять - есть варианты. Например, мой тестовый 9.6 никаких подзапросов не делает. Весь запрос выполняется как один простой left join.

Ну и данные будут гоняться туда и обратно каждый раз.

Смотря что именно считать данными. Потому что какая-то часть в любом случае будет передавать по сети. Или вы передаёте свой массив или читаете всю таблицу. Да хоть даже данными можно результат запроса назвать.

Да и программно можно массивы подгружать кучками

Надеюсь только, что речь не о limit offset.

Как в PostgreSQL выбрать значения значения которые есть в массиве, но нет в БД?

а поясните, кстати, что именно ваш пример делает столько времени?

time python -m timeit 'set(range(1,1000022)) - set(range(1,1000000))'
10 loops, best of 3: 98.4 msec per loop

real 0m4.002s
user 0m3.528s
sys 0m0.468s

Как заявленные в результате 10 loops по 0,1сек = 1с превращаются в 4 секунды реального времени?

Как в PostgreSQL выбрать значения значения которые есть в массиве, но нет в БД?

Алексей Черемисин, где именно их миллион? В табличке? Фигня вопрос. И миллиард - аналогично. А у вас на приложении уже памяти не один гигабайт исчезло.

А если у вас лям чисел в начальном массиве - то вопрос идёт с разбирательств, а откуда у вас такой массив взялся.

Как вставить в базу MySQL значение NULL через INSERT?

Выведите сам запрос, а не код который его строит. Характерный "use near " с пустой строкой указывает в том числе на неожиданно закончившийся запрос. Т.е. я считаю, что реальный код у вас выглядит иначе и NULL в запросе отсутствует.

Стоит ли хранить файлы транзакций отдельно от баз?

4 SSD в RAID10 будет лучше чем по паре в RAID1 отдельно под WAL и под данные соответственно.
Дадут ли что-то дополнительные диски - смотря во что вы упрётесь. Сомневаюсь что в io, известный говнокод 1С пользоваться базами данных не умеет от слова совсем, если правильно вспоминаю отзывы коллег.

Как правильно обновить собранную из исходников postgresql?

Николай Савельев, так про это сразу надо писать. Какие? Потому что возможности бинарного переезда надо уточнять именно у вендора, при том сразу у обоих.
Возможно pg_upgrade потребуется, возможно (особенно если вендор менял формат датафайлов) только через dump/restore.

Как правильно обновить собранную из исходников postgresql?

Николай Савельев, а у вас или разные вендоры (не ванильный postgresql) или собирали совсем даже не релизную ветку. Потому что в минорных релизах версию каталога не меняют.

Как правильно записывать нестандартные символы(напр.немецкие)?

Выясните для начала, где именно вы теряете умляуты. JS умляуты введённые видит? В запросе на backend они передаются? Принимаются backend'ом? Записываются в персистентное хранилище? (СУБД, наверное) Считываются их персистентного хранилища? Найдите этап, на котором происходит проблема и соответственно этому выкиньте из рассмотрения всё лишнее.

Почему updateAll не изменяет последнее поле?

yiiworld, так я про mysql sql_mode и говорю. Гайка ANSI_QUOTES, если конкретнее.

Почему updateAll не изменяет последнее поле?

в чем разница между тремя этими видами кавычек ` `, ' ', " "

Первые недопустимы синтаксически, вторые для строковых литералов, третьи для имён объектов. Вы же обратили внимание, что речь о postgresql, а не mysql? (в котором кстати, " имеют разное значение в зависимости от sql_mode)

Как правильно реализовать структуру бд для многопользовательской платформы?

Boris Korobkov, и в чём проблема нормализовать данные? Чем сущность "сайт" отличается от сущности "пользователь"? Или для истории заказов у вас тоже по своей таблице на каждого пользователя?

id сайта на самом деле нужен не в каждой таблице. Но да, проверять его надо. Так же как и пользователя надо проверять, если у вас заказы разных пользователей в одной таблице.

Как правильно реализовать структуру бд для многопользовательской платформы?

Boris Korobkov, 10 таблиц и будет. Данные 100% типовые, что им делать в разных таблицах?
Дорастёт база до полутеррабайтного размера хотя бы - ну можно спилить что-нибудь горячее (или наоборот холодное) на отдельный кластер СУБД.
Или вы собираетесь убеждать DBA, ежедневно работающего с базами на несколько террабайт под нагрузкой в тысячи qps, что игрушечная табличка всего-то в десяток-другой гигабайт - это охренеть какой объём данных и ничего работать не будет?

Как правильно реализовать структуру бд для многопользовательской платформы?

Boris Korobkov, ммм. Какие 10000 таблиц? Вы о чём и откуда они взялись?

Как правильно реализовать структуру бд для многопользовательской платформы?

Boris Korobkov, ага. Да, это автоматизируется. И автоматизация обязательно добавит новых граблей, которых банально нет с одной большой базой. А понадобится ли вообще вторая база - ещё большой вопрос.

Вопрос по статье на Хабре про триггеры - могут ли гарантировать триггеры целостность данных?

Denis Popov, или вы говорите про какую-то одну конкретную субд или сильно заблуждаетесь.

триггер вешается только на одну операцию, их придется дублировать на инсерты, апдейты

Зависит от СУБД. postgresql не проблема повесить один триггер на пачку операций.

Все эти триггеры, представления, процедуры и т.п. очень сильно влияют на производительность...

Подчас весьма положительно влияют. Т.к. не тратим время на сеть и плюс СУБД может кэшировать план хранимок.

К примеру прямой запрос навороченный займет 0.004с, а с представлением это уже может быть уже 0.15с

it depends. Запрос к таблице и запрос к вьюхе может быть переписан в идентичный вид планировщиком. Но вьюхи вешаются не для производительности, а для удобства. Для производительности - материализованные вьюхи.

Почему не работает UNION ALL запрос?

Алекс Иванов, на самом деле самый обычный order by. Сортировать возможно по результату любого вычисления, вот здесь сортировка по 3 вычисляемым полям.
rank_golos >=22.1 desc - дополнительный фокус неявного приведения типов в mysql. Истинное условие - 1, ложное - 0. Что позволяет сортировать как число.

В мануале есть вот такой пример:

SELECT CONCAT(last_name,', ',first_name) AS full_name
  FROM mytable ORDER BY full_name;

Если select поля сортировки делать не надо, то

SELECT ..
  FROM mytable ORDER BY CONCAT(last_name,', ',first_name)

Полностью допустимый вариант записи, по синтаксису допустимо использовать ORDER BY {col_name | expr | position}. Но position deprecated, хотя местами может попадаться вот в таком виде как эквивалент обращения по имени поля

SELECT CONCAT(last_name,', ',first_name) AS full_name
  FROM mytable ORDER BY 1;

Почему не работает UNION ALL запрос?

обратите внимание на разный порядок полей в order by в вопросе

Не получается с заменой в preg_replace()?

json_decode и получаете нормальный массив или объект с которым делаете что пожелаете.