Как ускорить запрос с DISTINCT в PostgreSQL?

Melkij, Спасибо за ссылку! :) Изучу на выходных.

Как ускорить запрос с DISTINCT в PostgreSQL?

Melkij, спасибо за объяснения! =) В зависимости от цены, планировщик выбирает путь с наименьшей ценой. Я правильно ли понимаю, что индексирование целесообразнее делать для небольших таблиц? Просто подумал, вел ли себя планировщик также, если объем данных в таблице не был бы таким большим. Как думаете?

Как ускорить запрос с DISTINCT в PostgreSQL?

Melkij, вот оно как. Насколько я знаю, PostgreSQL может выполнять запросы в нескольких потоках, используя несколько ядер. Нужно почитать и изучить возможность апгрейда базы данных. С чего следует начать изучение данного вопроса на ваш взгляд?

Как ускорить запрос с DISTINCT в PostgreSQL?

Pavel Denisov, спасибо за совет! Решил отказаться от конкатенации в запросе. Объединять значения буду на стороне клиента.

Как ускорить запрос с DISTINCT в PostgreSQL?

Сергей, согласен с вами. Каждое поле (CITY, AREA, REGION) нужно разбить по отдельным таблицам. Администрированием базы данных я не занимаюсь. Я лишь веб-разработчик, который использует уже готовую таблицу для своих нужд. Приходится выкручиваться.

Как ускорить запрос с DISTINCT в PostgreSQL?

Здравствуйте! Спасибо за информацию! =)

Для меня не совсем было понятно работа планировщика PostgreSQL 11. Как я понял из ваших слов явно использовать определенный индекс в запросе не получится и планировщик сам решает что ему использовать. Это немного шокирует. Я думал по крайней мере можно узнать какой индекс используется в запросе, как в таком случаи анализировать запрос?

Ребята выше советуют отказаться от конкатенации. Также из ваших слов я понял, что distinct утяжеляет запрос в плане быстродействия, я правильно понимаю?

Я тут протестил два запроса и они возвращают очень интересные результаты. Запрос без distinct работает быстрее. Ниже приведу результаты теста. Что думаете про это?

1 запрос:

SELECT "CITY", "AREA", "REGION"
FROM youtube
GROUP BY "CITY", "AREA", "REGION"

EXPLAIN ANALYZE на 1 запрос возвращает:
2 запрос:

SELECT DISTINCT "CITY", "AREA", "REGION" FROM youtube

EXPLAIN ANALYZE на 2 запрос возвращает:

Как ускорить запрос с DISTINCT в PostgreSQL?

Здравствуйте, Максим! Ок, нужно избавиться от конкатенации, я это понял.

Использую ваш первый скрипт:

SELECT "CITY",  "AREA", "REGION"
FROM youtube
GROUP BY "CITY", "AREA", "REGION"

EXPLAIN ANALYZE возвращает:


Как понять используется ли вообще какой либо индекс в запросе? Такое ощущение, что индексирование и не используется планировщиком PostgreSQL 11.

Как ускорить запрос с DISTINCT в PostgreSQL?

Сергей, здравствуйте!

Создал индекс как у вас на примере. Скорость запроса не изменилась к сожалению. Такое ощущение как будто индекс в запросе и не используется.

Пробовал также такой запрос:

SELECT CONCAT("CITY", ' | ', "AREA", ' | ', "REGION") AS LOCATION FROM (
	SELECT "CITY", "AREA", "REGION", COUNT(*) FROM youtube GROUP BY "CITY", "AREA", "REGION"
) youtube;

Выполняется он быстрее чем первый, но все равно медленно:


Как думаете есть ли смысл в индексировании и партиционировании, ведь в запросе нет условия WHERE?

Как при клике на метку открыть не balloon, а блок div?

Спасибо за пример! Можно ли еще один вопрос по этой же тематике задать?! Обработчик на нажатие карты также выглядит? Просто вместо myPlacemark поменять на myMap допустим, я прав?

Как правильно передавать данные из одного компонента в другой?

Владимир Проскурин, Спасибо! =)

Как правильно передавать данные из одного компонента в другой?

Спасибо, надо изучить особенности стрелочной функции более подробно.

Как убрать серые зоны на яндекс карте?

freeExec, да я уже так и сделал. Добавил restrictMapArea: true.

Как убрать серые зоны на яндекс карте?

freeExec, На самом деле тут дела даже не в зуме. Можно скролить вверх или вниз и увидеть серые зоны (см. рисунок). Мой изначальный вопрос был в том чтобы не включать их в область видимости пользователя. Чтобы проскролив к примеру до Антарктика пользователь дальше не уходил в серую зону, а упирался на Антарктике. К примеру так реализована в самом Яндекс карте.

Как убрать серые зоны на яндекс карте?

freeExec, здравствуйте! Пробовал так, но minZoom и maxZoom не работает:

self.map = new ymaps.Map("yandex-map", {
        center: [48.352571497155054, 64.04235076905002],
        controls: [zoomControl, searchControl, 'fullscreenControl'],
        searchControlProvider: 'yandex#search',
        zoom: 5,
        options: {
                minZoom: 12,
                maxZoom: 16,
        }
});

Можете пожалуйста подсказать, что мною было сделано не правильно?

Как установить метки в Яндекс карте во Vue.js приложении?

Я так понял, вы предлагаете код, который находится в функции setMarkers() перенести в initializeYandexMap(), я прав? Если честно хотелось бы каждую операцию помещать в отдельную функцию. Так легче будет сопровождать проект в будущем на мой личный взгляд. Так же будет возможность повторно использовать какую либо функцию повторно.

Как создать большой JSON файл и вывести его в качестве response в Node.JS?

Mikhail Osher, при использовании кода, вываливается следующая ошибка.

Код:

pool.query(sql_statement).stream({highWaterMark: 5}).pipe(res);

Error:

TypeError [ERR_INVALID_ARG_TYPE]: The first argument must be one of type string or Buffer. Received type object

Как создать большой JSON файл и вывести его в качестве response в Node.JS?

sim3x, здравствуйте! Думаю, крон в моем конкретном случаи не вариант. Данные я беру из MySQL таблицы, в которой порядка 20 млн. записей. Новые данные туда заливаются каждый час. Заранее мы не знаем какой период пользователь выберет. Насколько я понял, вы предлагаете создавать *.json.gz файл для каждого периода. Вероятнее всего streaming, который предложили ребята то, что мне нужно.

Как создать большой JSON файл и вывести его в качестве response в Node.JS?

Спасибо за наводку! Тема streaming для меня новая признаюсь честно. Могли бы вы пожалуйста привести пример streaming response приближенное к моему случаю?

Как создать большой JSON файл и вывести его в качестве response в Node.JS?

Здравствуйте! Спасибо за ссылки.

Благодаря первой ссылки сейчас в консоль вывожу каждую строку ответа из базы:

const query = pool.query(sql_statement, binds);

query.on('result', function(error, row) {
    if (error) throw error;
    console.log(row);
});

На счет второй ссылки. Тема скажу честно запутанная для меня. Могли бы вы пожалуйста привести пример streaming response приближенное к моему случаю?

Как получить пул данных за период по столбцам YEAR, MONTH, DAY?

Понятно, а какой UI вы используете для Oracle?