Как очистить огромный txt от дубликатов?

Question

[Ivan_Google]

нужно очистить файл .txt весом в 25гб от одинаковых строк
пример:

123
456qwerty
123
jsdgf6

Comments

[d'Ivan]

Отсеять повторяющиеся пароли пользователей?

Answer 1

[d'Ivan]

Модифицированный вариант Stalker_RED в котором вместо DISTINCT построить схему с первичным ключом varchar, в которую занести данные из 1-й таблицы при помощи запроса
Insert ignore into ... select from ...

Answer 2

[Stalker_RED]

Не уверен, что это самый быстрый велосипед, но точно сработает, в случае, если в твоем компе нету 25 гигов памяти:)
загнать в базу (COPY FROM для postgress или LOAD DATA INFILE для мускула) а потом выбрать c DISTINCT.
Таблица во время загрузки данных ессно без индексов должна быть.

UPD: да, distinct тоже сильно грузит, insert ... ignore наверное будет быстрее.

Answer 3

[Dimonchik]

качаешь TextPad
https://www.textpad.com/home

потом F9

и галку "delete duplicates"

когда будет открывать файл - подвиснет, строки процесса у него нет, в отличие от EmEditor, жди пока откроет

если не откроет - комп не тянет - тогда другими методами
типа такого

Comments

[Ivan_Google]

попробовал. не хватило терпения, если кто захочет использовать этот способ . то нужно увеличивать файл подкачки из расчета размер словаря+ дефолтный обьем файла подкачки+4гб.