Как сделать sql запрос для показа топ 10 ключевых слов с группировкой и суммой метрик из другой таблицы?

имеются 2 таблицы

• Проверьте приведённые SQL-скрипты с примером данных на работоспособность в MySQL, и приведите их в порядок - количество ошибок просто зашкаливает.
  
• Явно укажите значения для ВСЕХ полей, включая и автоинкрементное.
  
• Во второй таблице должны быть связанные записи для всех или хотя бы большинства записей из первой таблицы.
  

итоговый результат

Итоговый результат должен быть в формате вывода MySQL CLI.

• Отформатируйте его как таблицу, чтобы было видно, где для какого поля значение (шапка с именами полей обязательна), и понятно, какой оно имеет тип данных.
  
• Уберите многоточия - показанный результат должен полностью соответствовать показанным исходным данным.
  
• Для одной из записей (лучше - для первой) - дайте подробные пояснения о том, как получено каждое из значений.
  

Цель 1 вывести топ 10 ключевых слов для этого делаем запрос

Этот запрос достигает поставленной цели № 1? если да - то зачем он вообще нужен в вопросе?

Можно ли в mysql хранить 200 колонок, для 10+млн записей?

one2four,

правильный запрос будет содержать вложенный select с перебором десятков тысяч строк

Это зачем, спрашивается? Как-то описание задачи ну совсем не тянет на подзапросы.

Вы бы показали пример данных - CREATE TABLE, оставить только 3-4 поля с метриками, INSERT INTO, с десяток записей, и значения только для оставленных метрик, требуемый результат для этих данных, ну и пояснения, как и почему посчитаны те или иные итоги.

Можно ли в mysql хранить 200 колонок, для 10+млн записей?

one2four

пока другого решения не нашел.

Вроде очевидная структура-то:

- идентификатор объекта
- идентификатор метрики
- значение метрики

Таблица
name | rating | siteId | region | + 4 фильтра

Как это соотносится со структурой, показанной в вопросе?

если делать отдельную таблицу для метрик и делать джоин, то `rating` увеличивается в зависимости от строк правой таблицы, отчего топ будет неправильный

Неправильный запрос даёт неправильный результат - что тут странного? составьте правильный запрос.

Можно ли в mysql хранить 200 колонок, для 10+млн записей?

их нужно хранить хранить в ненормальной форме

Чем обоснована такая странная "хотелка"?

Проблема с импортами, ошибка, сам не смог решить, как сделать?

Какой смысл переносить куда-то заведомый синтаксический бред?

Как сделать автоматическое заполнение ячеек, при выборе значения из раскрывающегося списка c несколькими строками и выбором значений?

Пиши Worksheet_Change, например.

Почему один запрос работает, а другой нет?

Вроде оно

Вот ВСЁ оно зачем? Достаточно было оставить поле ID и поле с JSON-значением, а все остальные поля и значения для них удалить - ибо оно нафиг не нужно для решения проблемы.

Почему один запрос работает, а другой нет?

uRoot, Выложите в вопросе: Структуру таблицы (CREATE TABLE), пример данных (INSERT INTO, 5-7 записей), заданные критерии отбора и требуемый для всего этого результат.

Можно создать online fiddle (скажем, на https://sqlize.online/ или на https://dbfiddle.uk/) и дать ссылку.

Почему один запрос работает, а другой нет?

uRoot,

Видел решение с "@>",

так работает

Это всё проверки на ОДНО значение. А не на пересечение с набором значений.

насколько это хорошее решение?

Нинасколько. Это два парсинга вместо одного.

Почему один запрос работает, а другой нет?

uRoot,

просто в БД такие записи есть

Нет. Число 5 и строка '5' - не одно и то же

Должен ли тип данных внешнего ключа совпадать с типом данных первичного ключа?

Serial Types

Как сделать DISTINCT для двух полей?

Нужно воспользоваться какой-нибудь агрегирующей функцией (min, max, avg, sum, count и т.д.) и по ней группировать.

Группировать по агрегирующей функции??

Как сделать DISTINCT для двух полей?

DISTINCT оставляет уникальные записи. Т.е. только уникальные комбинации значений - при этом значения одного отдельно взятого поля могут повторяться.

Сформулируйте задачу, а не свою (неправильную) попытку её решить.

Как найти петлю в локальной сети?

dimondemidov1,

там к главному комутатору 4 канала по 1 гбит в агрегации 4 гбит вообщем

Это даже без учёта служебной доли и иных типов трафика получается 2.5 мегабит на одну камеру - вот не сказать что это дофига. Вряд ли у вас на всех камерах разрешение установлено минимальное.

Как найти петлю в локальной сети?

dimondemidov1,

сейчас от камер много потерь пакетов при передаче видео.

Ну так мониторь загрузку порта на каждом порте, к которому подключен другой коммутатор. Если прут потери, то где-то порт будет перегружен.

С другой стороны, полторы тыщи камер должны генерировать трафик, которому гигабита будет явно маловато. И на том порту, где сидит регистрационное оборудование, потери как бы неизбежны.

Хотелось бы узнать мнение болле опытных разработчиков?

Евгений, 30к записей - уже вовсе даже не одна. Чанки - обычное дело.

Хотелось бы узнать мнение болле опытных разработчиков?

Типичная XY-проблема.

как лучше(правильнее) сделать так чтобы каждая итерация цикла отдельно записывалась в базу данных или сначала сформировать данные для value(как сделано по идее сейчас) и что будет производительнее ?

Один длинный запрос на порядки производительнее и легче для сервера, чем несколько коротких.

Почему запрос на MySQL 8 выполняется в десятки раз медленнее?

Снимите профили выполнения запроса для обоих версий сервера.

Как можно ускорить выполнение SQL запроса?

Руслан .,

Тут как оптимизатор посчитает правильным так исделает.

Ну на то и декларативный язык..

Если в выборку попадает 1% всех строк таблицы, то скан не быстрее.

Это верно. Но частный случай, который обычно приходится хинтовать. В комментариях к одному из ответов автор показывает план. Там видно, что отбирается где-то 11-12% записей.

А ещё - сервер неспособен предсказать количество записей, отвечающих многозначному критерию из WHERE IN. А если он тупо попытается получить оценку на основании index cardinality, то у него ничего хорошего не получится - ведь он получит приблизительное количество уникальных пар, чего маловато для оценки процента отбираемых записей, ибо у композитных индексов равномерность не сказать чтобы частое явление, и к тому же у него нет cardinality по префиксу (а из другого индекса он его брать не умеет). Да и не будет он предсказывать - чай, не JOIN оптимизирует.

Как можно ускорить выполнение SQL запроса?

Руслан ., здрасьте, приехали. Ну да, пусть сервер отобрал по условию из WHERE. Но дальше-то он должен собрать записи в группы, чтобы считать агрегат. И что, он должен теперь выдёргивать для каждой группы записи из кусков индекса, то есть фактически пересортировывать фильтрованный набор? да нафиг ему это надо? гораздо быстрее простое сканирование.

Тогда как в начальном варианте он просто фильтрует каждую отдельную группу, и никакой сортировки для того, чтобы собрать в кучу отфильтрованные записи группы, не требуется. Можно сразу считать агрегаты.