Если массив ссылок хранится в файле, то товарищи выше уже дали варианты.
Могу предположить, что сборка ссылок хранится в БД. Тогда, в случае MySQL выборка уникальный значений в столбце | (столбце + строке) будет находиться стандартным запросом SELECT DISTINCT `column` FROM `database.table` LIMIT `max_rows`;