Ну спорить не буду, насколько я помню я действительно его выгружала в postgresql, соединяя определенные столбцы ну в общем вот ссыль на гит нет времени сейчас вспоминать, но там вроде все понятно https://github.com/Inna949Festchuk/Hackathons/tree...
Можно изучить генераторы и итераторы и ключевое слово функции: yield (использ. вместо return) и тогда можно сделать, чтобы csv анализировался построчно. Я так на 2.5 миллиона записей файл обрабатывала на 4 Гб оперативки без проблемм, если прям нужно могу скинуть ссылку на ГитХаб. Можешь прочитать про эту тему например здесь https://www.google.com/amp/s/proglib.io/p/chto-tak...
