Если файлы отсортированы, то можно итерировать оба файла одновременно (с выравниванием позиции по значению), таким образом за один проход можно получить пересечение, без необходимости все загружать в память.
Если не сортированы, тогда загрузить в set'ы и выполнить пересечение, как посоветовали выше.