Мирон

Обычно в SQL это пишут, чтобы не забыть проверить какие - то условия, когда появляются ошибки. Никто не объясняет эти вещи в комментариях. Процедуры, обычно, длинные, и каждая лишняя строчка, это не позволительная роскошь.
Иногда это результат спешки, тогда надо покопаться, и если все верно, убрать лишние шаги. Да, некоторые программисты пишут такой код, в качестве флажка, чтобы напомнить себе, что что - то надо доводить до ума.

Ууу... три года назад вопрос задан.
Так не интересно :)
Но попробую ответить, все-равно. Даже зная, что автор наверное поднаторел и возможно может ответить на свой вопрос сам, намного лучше.
Итак.
1. Спарк все и всегда делает параллельно. Вопрос лишь в том, дает ему пользователь выполнить параллельный запрос используя 2 или больше, так называемых "executor(s)", по русски наверное "выполнимых".
Выполнимый это просто java.exe выполнимый. Кроме того, что это выполнимый, это тот ( или те ) выполнимый(ые), которые и выполняют такие операции, как считывание файлов, запись файлов, jdbc, spark sql и другие запросы.
В зависимости от конфигурации Spark их может быть один или больше.
Как правило эти executors запускаются на машинах, которые распределены в сети, и физически отделены друг от друга. Есть настройки, которые устанавливают сколько именно executors могут быть запущены на этом массиве машин.
Машины эти, в свою очередь, называются "worker nodes".
Кроме worker nodes несущих executors Spark требуется driver. И хотя на этом драйвере так же выполняется java.exe, в свою очередь этот выполнимый не входит в счет executors, за исключением того случая, когда Вы работаете с Spark в режиме локальной консоли "spark-shell". При запуске Spark в режиме локальной консоли все возможности Spark по параллельному распределенному выполнению заданий сводятся к немного больше, чем нулю.
Да, никто не мешает создать Thread и запустить её параллельно, но это уже не совсем Spark, но собственный код.
Итак, как же добиться, чтобы Spark выполнил задание параллельно, пользуясь встроенными в Spark возможностями.
Часть ответа уже прояснилась - надо запустить Spark кластер, по крайней мере с одним worker на котором надо отконфигурировать и запустить 2 или больше Executors. После чего надо выполнить задание, которое Spark умеет выполнить параллельно.
При этом надо всегда помнить, что Spark попытается оттянуть выполнение задание как можно больше, а вместо выполнения задания, при вызове той или иной функции, запомнить некий план выполнения, который будет выполнен в будущем. Такой план называется DAG ( direct acyclic graph ).
Хорошим примером операции, которую Spark выполняет одновременно несколькими потоками, это считывание файлов из директории
spark.read.format("json").load("my_path_to_json_files/files_subdirectory/*.json")
хотя и не прочитает файлы, как таковые, но создаст DAG, при этом воспользовавшись thread равным по количеству executors. То есть уже некоторые аспекты параллельного выполнения появляется.
Далее, если Вы выполните следующую линию, запомнив этот DAG в неизвестном
val df = spark.read.format("json").load("my_path_to_json_files/files_subdirectory/*.json")
а следующим шагом, допустим, запишете этот же список файлов в формате parquet в другой файловой системе, например

val df = spark.read.format("json").load("my_path_to_json_files/files_subdirectory/*.json")
df.write.format("parquet").save("my_path_to_parquet_files/files_subdirectory")

Spark воспримет эти две линии как команду создать, так называемую job, в рамках этой job Spark задаст executors их собственные Tasks в рамках этой самой job, и по мере выполнения Task на executors будет продвигаться к тому, чтобы выполнить всю Job, при этом заметьте
задание будет выполнено параллельно
и
независимо друг от друга, теми самыми Тhreads.
Стоит заметить, что если Job задает driver, то распределением Tasks, и отслеживанием стадий их выполнения ( Stages ) уже занимается Spark Scheduler.
Так выглядит архитектура Spark при выполнении некоего задания.
Есть ещё несколько способов обратиться к подсистеме executors с целью параллельного и одновременного выполнения задания, это
df.edd.foreachPartitionAsync()
но в этом случае Вам придется написать код, который уже будет выполняться настолько параллельно, насколько умело Вы владеете языком описания заданий для Spark, scala и где то java.
Кроме параллельного выполнения заданий Spark поддерживает, через свой язык, scala, те же Threads и параллельные коллекции, которые так же способны поддерживать параллельное выполнение потоков. Но, по большей части, эти потоки будут выполняться на driver, то есть сами по себе они не будут выполняться распределено. А это уже сильно уменьшает возможности Spark использовать параллельное выполнение заданий, поскольку ресурсы одного отдельно взятого driver конечны, и при параллельном выполнении заданий driver довольно быстро их, эти ресурсы, исчерпает, если Вы попытаетесь считывать, допустим, файлы большого размера, или выполнять задания на данных большого размера.
Я попытался найти в документации описание распределенного параллельного выполнения запросов, но как - то быстро у меня найти не получилось.
Не поленитесь, и поищите Spark документацию. Там все эти детали досконально описаны.

Книга без автора?
Код книги в списке авторов?
Если первое ещё возможно, если запись утеряна, то второе, это скорее пережиток ручной учетной записи, которую не стоит мучать в СУБД.
Может не так элегантно, но понятнее сделать UNION
1. select ..., min(author_id) from books inner join authors on books.author_id = authors.author_id
group by ...
2. select ..., 'empty' as author_id from books where not exists ( select 1 from authors where author_id = books.author_id)
и представить их
1 union 2
-- CTE прекрасно работают с union, их надо вынести в предъём выражения.
-- Если у авторов есть взаимоотношения родитель - ребенок, то эти взаимоотношения и отслеживаются в CTE, там же задается указатель уровня, по которому можно выбрать старшую запись в выборке ( where parent_level = 1 )

Я, по доброте душевной, думал Вам Windows SDK с MSBuild посоветовать. И тут прочел MSDN статью по WSL и почувствовал себя безнадежно отставшим от жизни :)))))))))))))))))
https://code.visualstudio.com/docs/cpp/config-wsl
Но потом посмотрел здесь https://docs.microsoft.com/en-us/cpp/build/buildin...
и немного успокоился
https://docs.microsoft.com/en-us/cpp/build/buildin...
Вспомнил, что есть Visual Studio Community Edition, есть, хорошо законспирированный, но неубиваемый, Борлановский компайлер, который после 10 часов поиска раз в 10 лет спасает корабль, и все встало на место.
Vulkan... запретный плод сладок.

Дефолт должна работать. Отсутствие "header" почти наверняка означает, что файл был обработан не утилитой, но кодом. Утилиты обязательно создают header запись.
Возможно надо покопаться в документации дефолт библиотеки, как обработать stream, а не архив. Во всяком случае для zip файлов. Rar, возможно, имеет другие требования.

Мне больше нравятся секвенции. Около часа назад, когда нашел вопрос оказалось, что мой pgAdmin 4 серьёзно поотстал. Поставил новый, уже 64-х битовый, подсоединился к настольной службе, и только через GUI построил следующие объекты, никуда не торопясь. Все удивительно приятно и удобно. Надеюсь пригодится :)

CREATE SEQUENCE public.testincrement_sequence
INCREMENT 1
START 1
MINVALUE 1
MAXVALUE 9223372036854775807
CACHE 1;

CREATE TABLE public.testincrement
(
i integer NOT NULL DEFAULT nextval('testincrement_sequence'::regclass),
a character varying(250) COLLATE pg_catalog."default",
dt timestamp without time zone,
un character varying(128) COLLATE pg_catalog."default"
)
WITH (
OIDS = FALSE
)
TABLESPACE pg_default;

Видимо коллекции рассредоточены в потоках ( threads ) которые что - то удерживает в памяти.
Если Вы пользуетесь потоками ( thread ) непосредственно, то наверное надо вызывать "return" в методе run, чтобы они сигналили процесс, что их можно безопасно чистить, если же они в некоем контейнере, которым управляет некий объект по умолчанию ( pool ), то здесь все зависит от контейнера, есть хорошие, но бывают всякие :)

select count(*) from (select game, game_id from bets group by game, game_id) as dt

Иногда view создают в какое - то время, а потом база меняется.
И так view может и есть, но не работает.
Их можно игнорировать.
Если базы на самом деле одинаковые, это одно из таких устаревших view, которое не построится и на той базе, из которой Вы его оригинально взяли.
Возможно есть другие причины... поделитесь копией ошибки и, если имеет смысл, строкой, которая её вызывает.

Каждое устройство имеет своего поставщика.
В проэктах, в которых я принимал участие, вендор предоставлял некоторый пакет ПО, который дает доступ к набору функций, с помощью которых с устройством можно общаться. Как правило описывается дополнительный, инженерный вход, для отладки ПО, доступ к которому либо с помощью специального разъема, либо через хорошо известный стандарт ( например I2C )
На каких языках поставщик предоставляет вход в устройство как правило описано в технической документации. Обычно устройства защищающие допуск к машине имеют выход через библиотеки на С++, это связано с требованиями по интеграции с устройствами ввода вывода, которые традиционно пишутся для этого языка.
3 месяца это приемлемый срок для проэкта, где все на местах, включая команду профессионалов, и надо внедрить новый компонент.
Если надо писать защищенное хранилище для паролей, если надо писать ярус интеграции с ярусом защищенных цифровых продуктов шифрующих и защищающих содержание, если есть ( высокая ) вероятность изменений других компонентов машины, с которыми в свою очередь этому сенсору надо как - то вместе работать, то одни внешние зависимости займут хорошие 2 месяца на усушку - утруску, то есть брать на себя ответственность сделать все за 1 месяц в такой ситуации не рекомендую.
Если же задача просто наладить обмен информацией с новым устройством, то тогда все иначе. На нашем проэкте смена встроенного шифровального устройства на внешнее сетевое заняла 2 недели от запроса до выхода продукта на линию и безупречной работы.
Многое зависит от того, что именно необходимо сделать.

снимите привилегии пользователей, которые сейчас созданы в базе данных. Оставьте им право читать. Особое внимание уделите административным учетным записям, например root. В моей практике мне не приходилось защищать конкретно MySQL, поэтому я не знаю, можно ли изменить имя пользователя root, если можно, сделайте это, конечно же изменив его пароль.
Сделайте специальный логин, которому присвоено разрешение изменять данные. Запомните пароль этого пользователя и сложите его в сейф. Ключ от сейфа повесьте на шею и никому не давайте.
Сделайте так, чтобы вход с паролем этого пользователя имел отдельный доступ к базе данных. Чтобы его не надо было выводить где - то в конфигурации программы, обеспечивающей работу сайта. Входите в этот счет с паролем через защищенное приложение так, чтобы никто не смог ни увидеть ваш пароль, ни считать его через какие - то устройства, в частности тех, которые слушают что передается по сети. В принципе все современные программы, которые приходят с продуктом защищают пароль логина. Но детали могут быть существенны, прочтите документацию, если есть сомнения. Там как правило описывается хорошо ли защищен сам процесс присоединения к базе данных тем или иным устройством.
Ну и наконец, защитите таким же подходом машину на которой установлена база данных и сайт.
В конце - концов, если с первой попытки не получится, и кто - то продолжит "безобразничать", повторите цикл, только теперь уже с некоторым опытом прежней тренировки.
По мере работы над этой областью рано или поздно Вы столкнетесь с тем, что либо человек, либо какой - то процесс установленный либо на машине, либо в самом приложении сайта, выполняет подмену указателей адресов, либо заметив этот процесс и сличив временные метки записей - их изменений, либо заметив, что кто - то присоединился к базе данных без разрешения с высоко привилегированным пользователем. Обнаружить это можно так же установив триггеры на таблицах, фиксирующие изменения, включая время записи имя учетной записи и значение поля до изменения и после. Проблема в том, что Ваша база в данный момент эксплуатируется не по назначению неким третьим лицом, и это лицо может исказить и эти трассировочные записи, поэтому на начальном этапе необходимо все - таки изолировать пользовательские записи и засекретить вход имеющий привилегии менять данные и административно распоряжаться ресурсами.

Не пробовали поискать в яндексе?
Я ввел запрос "MySQL for json" выражение "for json" поддерживается в SQL Server и это считается золотой стандарт СУБД, поэтому похожие функции в других СУБД можно искать по ключевым словам.
Вот ответ, по - моему подходит.
https://stackoverflow.com/questions/41758870/how-t...

А Вы не пробовали добавить индекс на поле из 4-х байтов?
На MySQL индексы работают вполне приемлемо, главное, чтобы это был первый индекс созданный на таблице, тогда InnoDB ( default ) движок по умолчанию создаст кластеризованный индекс.
Вот синтаксис: https://dev.mysql.com/doc/refman/8.0/en/create-ind...
обратите внимание на варианты UNIQUE, это поможет подтвердить, что ключ каждого текстового поля действительно уникальный.
Потом, во время запроса, надо будет аккуратно проверить синтаксис, чтобы подтвердить что запрос создан так, что индекс будет использован - тип данных в WHERE должен соответствовать, и что запрос действительно его использует ( по моему в MySQL это опция EXPLAIN ).
Если все сделано верно, то скорость выполнения запроса с миллиардом записей должна быть вполне приемлема.
Осталось проверить некоторые детали. Из вопроса не очень понятно, если база многопользовательская, или обслуживает пользователя работающего на этой же машине, есть ли одновременный доступ нескольких пользователей, иными словами доп информация по масштабу использования базы может помочь. И хотя SQLite намекает на чисто локальный характер записей, это детали которые лучше подтвердить, чем оставить за кадром.
Кроме того, какой характер ключа из 4 байтов, это число или бинарная конструкция, если бинарная, приемлемо ли его перевести к типу Integer, это существенно для скорости индекса.
---
Если же индекс уже создан, и не показывает результаты, которые Вы ожидаете, детали запрошенные выше помогут разобраться.

public class StatsService {

    public ArrayList<Integer> monthsOfTopSales(long[] sales) {

        long topSale = sales[0];
        Integer month = 0;
        ArrayList<Integer> topMonths = new ArrayList<Integer>();

        for (long sale : sales) {
            month ++;
            if (topSale < sale) {
                topSale = sale;
                topMonths.clear();
                topMonths.add(month);
            } else if ( topSale == sale ) {
                topMonths.add(month);                
            }
        }
        return topMonths;
    }

}