Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
brunot
@brunot
Как удалить дубли в большом (1,5Гб) файле?
Обычно такую простую задачу решал через эксел - но там лимит 1кк строк. В моем файле 24кк.
Также пробовал emeditor - чистит долго. Какие еще существует быстрые альтернативы для винды?
Вопрос задан
более трёх лет назад
1670 просмотров
Комментировать
Подписаться
2
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
2
Dimonchik
@dimonchik2013
non progredi est regredi
www.textpad.com
единственный, кто может
f9
Ответ написан
более трёх лет назад
1
комментарий
Нравится
2
1
комментарий
Facebook
Вконтакте
Twitter
brunot
@brunot
Автор вопроса
будем пробовать, спасибо
Написано
более трёх лет назад
Владимир Мартьянов
@vilgeforce
Раздолбай и программист
sort, вроде, такое умел. Но он сортирует выходной файл. В принципе, 24ляма * 20 байт SHA1 - 480 Мб памяти под хэш каждой строки, так что можно смело на Питоне писать реализацию.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Windows
+1 ещё
Простой
Безопасно ли использовать get.activated.win?
2 подписчика
3 часа назад
58 просмотров
0
ответов
Python
+1 ещё
Средний
Почему api золотого яблока блокирует все запросы?
1 подписчик
4 часа назад
24 просмотра
0
ответов
Программирование
+2 ещё
Средний
Нужно модифицировать прошивку эбу Mitsubishi melco, есть здесь такие специалисты?
1 подписчик
4 часа назад
14 просмотров
0
ответов
React
+2 ещё
Средний
Как интегрировать яндекс карты v3 в React TS?
1 подписчик
8 часов назад
18 просмотров
0
ответов
C
+1 ещё
Простой
Стоит ли реализовывать вызов RPC функций через libffi closure?
1 подписчик
9 часов назад
31 просмотр
0
ответов
CSS
Простой
Как с помощью flex распредилить кнопки как на картинке?
1 подписчик
9 часов назад
44 просмотра
2
ответа
Ноутбуки
+3 ещё
Простой
Ноутбук Asus tuf gaming a15 зависает при высокой нагрузке на GPU, в чем может быть проблема?
1 подписчик
9 часов назад
46 просмотров
1
ответ
Регулярные выражения
Простой
Как удалить часть слов?
1 подписчик
9 часов назад
77 просмотров
0
ответов
Windows
Простой
Откуда у дисков в windows взялось двоеточие и зачем оно нужно?
1 подписчик
9 часов назад
143 просмотра
2
ответа
Битрикс24
Простой
Почему возникает ошибка unable to install non free application free_required при импорте отраслевого решения?
1 подписчик
11 часов назад
13 просмотров
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO link builder/контент менеджер
GOAT digital
от 700 $
Питонист-бекендер в проект с тестами
Федя и Самат
от 150 000 до 300 000 ₽
Ведущий питонист
Федя и Самат
от 250 000 до 400 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама