Ogra

4й вариант.
1. В отдельной таблице можно хранить оригинальное имя файла, держа его при этом на сервере с хитрой организацией файлов, вида: /ab/bc/de/abbcde.doc
2. Оригинальное имя файла хранится, а значит, если пользователь 1 закачал file.doc, а второй пользователь закачал file.doc, то и при скачивании обоих файлов получится file.doc, а не file(1).doc
3. В таблице можно хранить md5 файла и не забивать место (или даже процессорное время, если происходит обработка картинок/видео) дубликатами.

Ну в общем, этот слой абстракции — никому не мешает.

Может попробовать DISTINCT?

ru.wikipedia.org/wiki/Алгоритм_точки_в_многоугольнике

Думаю, что подобный алгоритм через SQL не реализовать(Хотя можно попробовать определить функцию), поэтому:
1. «Рисуете» вокруг вашей области ограничивающий прямоугольник со сторонами параллельными координатной сетке. (X_min, Y_min, X_max, Y_max)
2. Выбираете все точки, принадлежащие этому прямоугольнику (простой, быстрый запрос)
3. Проверяете все эти точки скриптом.