Как удалить дубли в большом (1,5Гб) файле?

Question

[brunot]

Обычно такую простую задачу решал через эксел - но там лимит 1кк строк. В моем файле 24кк.

Также пробовал emeditor - чистит долго. Какие еще существует быстрые альтернативы для винды?

Answer 1

[Dimonchik]

www.textpad.com

единственный, кто может

f9

Comments

[brunot]

будем пробовать, спасибо

Answer 2

[Владимир Мартьянов]

sort, вроде, такое умел. Но он сортирует выходной файл. В принципе, 24ляма * 20 байт SHA1 - 480 Мб памяти под хэш каждой строки, так что можно смело на Питоне писать реализацию.