Какой алгоритм выбрать для удаления дубликатов?

Question

[SunGoesDown]

Есть список такого вида:

site.com/index.php?id=1
site.com/index.php?id=2
site.com/index.php?id=3
site.com/index.php?id=1&param=a
site.com/index.php?id=1&param=b
site2.com/index.php?id=3
site2.com/index.php?id=4
site2.com/index.php?id=5
site2.com/index.php?id=1&param=x
site2.com/index.php?id=1&param=y
site2.com/index.php?id=2&param=z

Требуется привести его к виду:

site.com/index.php?id=1
site.com/index.php?id=1&param=a
site2.com/index.php?id=3
site2.com/index.php?id=1&param=x

То есть удалить ссылки, где отличаются только значения параметров, но сами параметры одинаковы. Посоветуйте по какому алгоритму лучше пойти и как бы это все попроще реализовать?