Как редактировать большие файлы *.txt и *.lst?

Question

[Александр]

Добрый день!
Есть большие (несколько десятков ГБ) текстовые файлы с расширениями *.txt и *.lst. Нужно как-то по-удобнее их просматривать+редактировать+поиск. (из под WIN 10 pro)
Пробовал открыть через Notepad++ он мне выругался, что "файл слишком велик".
Ах да, еще момент забыл. Нужно чтобы после работы с такими большими файлами они не засирали кеш на пару десятков ГБ, чтобы мой SSD колом не вставал из-за того, что папка Temp распухла
Т.е. критерии такие:
-быстрый поиск;
-просмотр;
-редактирование;
-адекватная работа с ресурсами компа;
-бесплатный;

Comments

[CityCat4]

Наличие текстового файла/таблицы/документа такого размера означает только одно - что-то пошло не так, потому что обычно данные такого обьема хранят в БД

[Adamos]

CityCat4, наличие такого файла еще может быть оправданным, а вот желание его редактировать - точно по вашему сценарию.

[d'Ivan]

А текстовый файл имеет определенную структуру (таблицы, к примеру) или же это просто текст?

[Александр]

список слов, словарь слово, под ним другое и так далее

[d'Ivan]

Александр, по сути, это тогда БД.

[CityCat4]

Александр, А. Конь понял. Словарь софтины ломалки паролей :) John the Ripper бессмертен - и там как раз словарь с расширением .lst :)

[Александр]

CityCat4, Ну вот, а вы говорите - не бывает!
Как там говорится: и про старуху бывает порнуха!

[CityCat4]

Александр, Гыыы, то есть я угадал правильно :) Файло такого размера можно только потоком редактировать - через awk/sed

Answer 1

[Dimonchik]

https://stackoverflow.com/questions/159521/text-ed...

юзаю EmEditor и Texpad , вьюверы любые, KLOGG тот же

Answer 2

[ComodoHacker]

Для просмотра и поиска я пользуюсь Far Manager.

Насчет редактирования нужно уточнить, что за редактирование. Редактировать такие файлы вручную несколько странно. Обычно для этого используются утилиты для пакетного редактирования, типа awk, sed и т.п.

Comments

[Александр]

Редактирование нужно будет тупым добавлением и удалением строк. Но неплохо, если бы и автозамена работала

[hellcaster]

Александр, может удобней написать простой скрипт на nodejs/python, оставить работать и уйти пить чай?

[Adamos]

Александр, однозначно задача не для текстовых файлов, а для БД. При добавлении / удалении строки в файле вам нужно будет переписать заново на диск все, что находится в файле после этой строки. Никакие волшебные программки ничего с этим не сделают.

[ComodoHacker]

Александр, задачи как раз для awk. Требует минимум системных ресурсов.

[Saboteur]

ComodoHacker, нет.
Несколько десятков гигабайт тем же awk будут перезаписываться.
Поэтому с файлами такого размера нужно кардинально пересматривать архитектуру и уходить в базы данных

[Adamos]

ComodoHacker, awk потребует минимум человеческих ресурсов, а диск будет жрать так же, как и блокнот.

Answer 3

[d'Ivan]

Если текстовый файл имеет структуру таблицы или построчно представляет из себя слова, то конвертируйте в СУБД SQLite или другую. При переносе в СУБД каждая строка получит свой номер и можно будет манипулировать с данными при помощи SQL запросов.

Answer 4

[d-stream]

Т.е. критерии такие:
-быстрый поиск;
-просмотр;
-редактирование;
-адекватная работа с ресурсами компа;
-бесплатный;

Это собственно описание БД
Поэтому совет Роман Мирр имеет место быть.

Тут скорее вопросы другого плана:
- как часто будут эти файлы меняться извне? и будут ли?
- поиск какого рода?

Comments

[Александр]

Редактироваться будет редко, По идее это будет добавление очередного слова в конец словаря.

[rrambo]

Александр, Если так то не подойдет ли команда echo Blahblahblah >> file.txt ?
Либо завести отдельный файл-словарь для новых слов, а этот уже не трогать.

[d-stream]

Александр,

По идее это будет добавление очередного слова в конец словаря

еще один аспект в пользу БД.

Answer 5

[12rbah]

Для просмотра подойдет sublime. Для быстрого редактирования произвольного текста вряд ли вы что то найдете, т.к. при редактировании файл переписывается, если вы в графике будете делать это, то скорее всего процесс зависнет на пару минут точно. У меня просто поиск по тексту занимал несколько секунд на 1гб сырого текста(прога консоль), а вы еще и менять, что-то хотите, для редактирования вам нужно его либо преобразовывать в специальный формат, либо терпеть по 10-20 секунд пока он меняет слово.

Answer 6

[Александр]

В поиск с запросом 'edit huge txt files'.

Comments

[Александр]

edit huge txt files бесплатно, без смс и без регистрации?
Я искал и кое-что нашел, но все это надо устанавливать и проверять, на это требуется много времени
Если у вас нет опыта в работе с этими файлами, а только опыт в поисковой строке яндекса, пройдите мимо.
Если есть, что сказать, ну мб вы использовали EMEditor (ну или EditPad) и он вам по каким-то причинам понравился или нет - напишите, пожалуйста. Как по ощущениям он быстр? К ресурсам компа здраво относится? Насколько большие файлы вам удалось им открыть?