lega

Да, можно, есть даже стиль где в с++ не используются с++ либы, только от с.

Если используется кеш на уровне ОС, а не на уровне приложения, то все будет ок.
Для надежности и сокращения ошибок, можете сделать 3-й поток под отправку, и уже в него складывать все данные для отправки.

во втором случае цикл становится бесконечным?

Потому что в результате получается "бесконечность" в дробной части. (так работает double/float)

>>> x = 100.475
>>> x - 100
0.4749999999999943

Если файлы отсортированы, то можно итерировать оба файла одновременно (с выравниванием позиции по значению), таким образом за один проход можно получить пересечение, без необходимости все загружать в память.

Если не сортированы, тогда загрузить в set'ы и выполнить пересечение, как посоветовали выше.

https://www.freebase.com/

Я для простых расчетов (для проекта на питоне) пробовал go и С, последний оказался удобней и быстрее в ~2 раза (и в 70х быстрее чем питон).

C++ (или C) для олимпиадных задачек, Python для разработки.