Ogra

У вас неправильная позиция изначально. Вам нужно не линейный массив собирать, а дерево из аргументов и операторов.

ru.wikipedia.org/wiki/Алгоритм_точки_в_многоугольнике

Думаю, что подобный алгоритм через SQL не реализовать(Хотя можно попробовать определить функцию), поэтому:
1. «Рисуете» вокруг вашей области ограничивающий прямоугольник со сторонами параллельными координатной сетке. (X_min, Y_min, X_max, Y_max)
2. Выбираете все точки, принадлежащие этому прямоугольнику (простой, быстрый запрос)
3. Проверяете все эти точки скриптом.

Миллион элементов из 16 миллионов элементов возможных позиций. Можно попробовать создать карту позиций, т.е. array[rgb] = 1 | 0.

Если каждая позиция описывается одним байтом, то это 16 Мб памяти. Не так уж и много, для современных то машин?
Довольно таки простая адресация, простой запрос, поэтому можно воспользоваться поиском вширь. Если поиск сделать двухуровневым, то скорость будет вполне приемлемой. (сначала поиск по областям 16х16х16, потом поиск по точкам внутри подходящих областей).