на ум приходит только загнать все это дело в MySQL и работать с данным через какой-нибудь клиентсамое здравое решение: нет никакого смысла загонять все миллионы записей в оперативку разом.


iconv -f cp1251 -t utf8 file.csv > file.utf8.csv