Как рандомно перемешать все строки в очень большом файле?

Question

[martensit]

Как рандомно перемешать все строки в очень большом файле?
порядка 100.000.000 строк

Comments

[Lander]

Хренассе! Ещё и на CMD это всё сделать!
Можно условие задачи подробней? Скорее всего есть другой выход...

Answer 1

[weranda]

Разделить на части, перемешать части, объединить части.

Comments

[mikhail_404]

Это уже не совсем рандом будет тогда, т.к. если брать блоки файла по 100 строк в каждом блоке, то рандом будет только в рамках этого блока, а никак не всего файла. Но идея хорошая.

[Roman K]

mikhail_404: блоки тоже подключать рандомно

[mikhail_404]

Roman Kitaev: тогда все это "добро", скорее всего, придется хранить в памяти (или в разных файлах). Если поставить ограничение на константу используемой памяти, то вернемся к моему ответу)

Answer 2

[Армянское Радио]

Залить в базу, потом
select * from lines order by random()

Answer 3

[Saboteur]

Создайте shuffle.bat из кода ниже.
Затем :
type ваш_файл | shuffle.bat > result.txt

@ECHO OFF
SETLOCAL ENABLEDELAYEDEXPANSION
SET TmpFile=tmp%RANDOM%%RANDOM%.tmp
TYPE NUL >%Tmpfile%
FOR /F "tokens=*" %%i IN ('MORE') DO SET Key=!RANDOM!!RANDOM!!RANDOM!000000000000& ECHO !Key:~0,15!%%i>> %TmpFile%
FOR /F "tokens=*" %%i IN ('TYPE %TmpFile% ^| SORT') DO SET Line=%%i&ECHO.!Line:~15!
::DEL %TmpFile%
ENDLOCAL

Answer 4

[АртемЪ]

CMD штука не сильно шустрая и это будет долго.
Реализовать можно примерно так- используя функцию %RANDOM% читайте случайную строку в вашем файле, записывайте ее содержимое в новый файл, с новой строки, старую строку удаляйте, и так пока останутся строки в исходном файле.

Хотя я бы на вашем месте посмотрел в сторону PS или Python для таких целей.

Answer 5

[Алексей Ярков]

Язык принципиален?
По логике примерно так:
1. Открываем поток на чтение
2. Считываем например тысячу строк
3. Перемешиваем
4. Сохраняем в файл temp_1000.txt

Повторяем действия пока файл не закончится, естественно меняя чмсло в имени временного файла.
А потом склеиваем в цикле файлы.
Или как-то так (примерно):

$ find temp_*.txt |  while read A ; do cat $A >> outfile.txt ; done

**************************
Сорян )) Тег CMD не заметил ))

Comments

[Армянское Радио]

Таким способом, строка из первой тысячи строк снова окажется в первой тысяче. Не совсем честное перемешивание.

[Алексей Ярков]

Армянское Радио: ну тогда выдачу команды find temp_*.txt еще перемешать ))

[Армянское Радио]

Алексей Ярков: тогда вы просто размешаете блоки, но это тоже нечестно.

[Алексей Ярков]

Армянское Радио: Вы внимательно мой ответ прочли?

[Армянское Радио]

Алексей Ярков: Внимательно. Вы сортируете блоки по тысяче записей. Это значит, что первые 1000 строк будут в любом случае лежать рядом. От того, что вы потом блоки еще перетасуете "рядом" не поменяется.

[Алексей Ярков]

Армянское Радио:
Шаги 2 и 3:
2. Считываем например тысячу строк
3. Перемешиваем
1000 строк перемешивается перед сохранением в блок