Чем можно открыть большой файл csv?

Question

[Asriel]

Всем привет. Подскажите нормальную программу (или онлайн сервис) для открытия большого файла (около 7 гб) csv. Я хочу открыть не первые 100 строк, а весь файл

Answer 1

[Сергей Карбивничий]

1) LibreOffice+увеличить раздел(файл) подкачки.
2) Для извращенцев есть программа - GSplit
3) Консольные Linux-утилиты.
4) Загнать csv в базу данных.

PS: Только имейте в виду, что адекватному человеку не нужно открывать(читать) весь файл целиком. Там же миллиарды строк!

Comments

[Asriel]

я стал загонять его в DB Browser. Я хочу найти там одну или две нужные мне строки (если они там есть конечно)

[Сергей Карбивничий]

Asriel, grep "нужная_строка" -i file.csv, флаг -i - не учитывать регистр.

Answer 2

[rPman]

Самое быстрое - консольные утилиты, из мира linux, awk, cut, grep,... сможешь разобрать свой файл хоть на калькуляторе (можно поставить отдельно или взять готовое с помощью майкрософтовского wsl или cygwin).

Любое другое решение будет сильно медленнее и будет требовать больше ресурсов.

пример, если тебе нужны строки (csv - текстовый формат, по строке на запись), в которых есть нужная тебе подстрока, то используй grep:

grep "искомая строка в кодировке файла" имя_файла.csv > новый_файл.csv

почти наверняка тебе хватит подстроки или регулярного выражения (ключ -e)
p.s. если там очень сложное условие, и недостаточно филтации в пределах строки, то импортируй csv в базу данных, например sqlite (импорт из csv встроен), правда 7гб может не шибко быстро импортировать, потом индексы создавать (я советую такие операции делать на ram диске) зато потом почти любые фильтрации

Comments

[xotkot]

тогда уж лучше ripgrep для этого использовать, быстрее будет, плюс если под виндой то можно запускать без прослоек в нативном виде