tutunak И каждый из них я должен сравнить с 100 000 предыдущих (+ этот же файл будет увеличиваться с каждым появлением новых уникальных url).
Так-то в базах данных есть индексирование, они умеют строить деревья который оптимизируют поиск...
>>Появилась мысль, что можно сравнивать хеши этих строк.
Зачем писать велосипед если базы за вас это делают?