Задача сугубо академическая. Характер адресов такой, что их миллиарды. Т.е. все 16 гб вполне возможно исчерпать. Но предполагается, что этот код будет работать на сервере, где меньше 16гб. И ему придётся количество уникальных считать многократно, поэтому надо делать это оптимально. Разовое решение не подойдёт