Подскажите, какие методы есть для работы с массивными объектами в памяти, мне нужно считать файл весом порядка 5-6 гб, разбить его на столбцы и отфильтровать и дедуплицировать по столбцам, такие объемы данных в памяти не очень подержишь, что можно придумать, чтобы это осуществить?
Если структура файла известна (например, файл с разделителями), то:
1. перегон в промежуточную таблицу MS SQL с использованием BULK INSERT (либо bcp) (0,5 Гб за 12 сек, 4 Гб за 1,5 мин.)
2. проверки/преобразования данных и раскладка в нужные таблички уже из промежуточной таблицы (зависит от сложности проверок/преобразований и т.п.)
Если же структура неизвестна, все несколько хуже... либо порционно читать, либо - Memory-mapped files?
FileStream читает ваш файл кусками как вы хотите. Он последовательно возвращает массив байтов, с этим массивом уже делаете что угодно (например, обрабатываете и пишете в другой файл). Надо только нормально продумать алгоритм, чтобы сделать это с минимальным количеством проходов.
StreamReader делает то же самое для текстовых файлов.
Я так понимаю, у вас там просто строчки? Тогда cat ... | cut -d '|' -f 1,2,3 | sort - как-то так.
Или напишите скрипт на Perl/Python/чем угодно. 5-7 Гб - не так уж много. Если только вам не нужны какие-то еще группировки с другими файлами, тогда да, используйте какую-нибудь РСУБД.
я недавно писал мелкую утилитку как раз для создания из csv файла инструкций tsql для вставки в таблицу. могу подкинуть исходники на сишарпе, чуть допишете и будете прямо в таблицу писать.
