Ну а упростить?
Так в тотал коммандер есть поиск дубликатов (по размеру сначала... и потом с одинаковым размером по содержимому)
ну есть еще вариант.. сразу считать контрольную сумму файла и далее просто в эксель внести и кнопка удалить дубликаты + в акцесс мастер запросов , запрос на различие таблицы полного списка и таблицы без дубликатов
