Имею базу в формате txt размером 2gb, как отсортировать по количеству символов на строку?

Question

[olegun08]

имею базу в формате txt размером 2gb, нужно отсортировать по количеству символов на строку с сохранением в разные файлы.

Comments

[Василий Банников]

с сохранением в разные файлы.

Что это значит?
Если 1 символ в строке, то в первый файл
Если 2, то в другой и так далее?

[Дмитрий]

По чанковать файл?

Answer 1

[rPman]

Для таких операций уже несколько десятилетий в linux существует утилита awk со своим языком программирования (он достаточно простой хоть и странный), так же можно соорудить регулярное выражение и с помощью утилиты sed или grep, несколькими проходами пройти по файлу, и сначала вывести все короткие строки, вторым проходом все длинные.

так же можно написать приложение на любом языке программирования, построчно читать файл, измерять длину строки или какое тебе нужно условие и записывать в нужный файл, кода строк на 5-6

Answer 2

[xotkot]

как-то так

awk "{print length,\$0}" FILE_IN |sort -n |cut -d ' ' -f 2- > FILE_OUT

{1} | {2} | {3}
{1} -- добавляем количество символов в начало каждой строки (формируем первый столбец)
{2} -- сортируем строки по первому столбцу
{3} -- удаляем первый столбец

Comments

[jcmvbkbc]

{2} -- сортируем строки по первому столбцу

как минимум sort -n, иначе оно там насравнивает числа как строки.

[xotkot]

jcmvbkbc, точно, спасибо за уточнение, поправил ответ

Answer 3

[Александр Ананьев]

Внести данные в реляционную базу данных (SQl Server, MySql, PostgreSql) и отсортировать запросом

Answer 4

[mayton2019]

Это задача на смекалку. Тут на самом деле сортировать не надо. Тут нужен роутинг слов в разные файлы.
В 1 проход делается. Разумеется мы должны предполагать что в 2Гб файле будут не сильно длинные строки.

Допустим для среднего текстового файла 80 символов на строку (стандарт такой был в 20м веке) мы получим
80 файлов.

По смыслу это похоже на сортировку подсчетом. Это когда кардинальность выборки крайне низка. Гендер например.