Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
brunot
@brunot
Как удалить дубли в большом (1,5Гб) файле?
Обычно такую простую задачу решал через эксел - но там лимит 1кк строк. В моем файле 24кк.
Также пробовал emeditor - чистит долго. Какие еще существует быстрые альтернативы для винды?
Вопрос задан
более трёх лет назад
1670 просмотров
Комментировать
Подписаться
2
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
2
Dimonchik
@dimonchik2013
non progredi est regredi
www.textpad.com
единственный, кто может
f9
Ответ написан
более трёх лет назад
1
комментарий
Нравится
2
1
комментарий
Facebook
Вконтакте
Twitter
brunot
@brunot
Автор вопроса
будем пробовать, спасибо
Написано
более трёх лет назад
Владимир Мартьянов
@vilgeforce
Раздолбай и программист
sort, вроде, такое умел. Но он сортирует выходной файл. В принципе, 24ляма * 20 байт SHA1 - 480 Мб памяти под хэш каждой строки, так что можно смело на Питоне писать реализацию.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
PHP
+1 ещё
Простой
Редирект на обратную страницу Laravel?
1 подписчик
53 минуты назад
5 просмотров
0
ответов
Python
+1 ещё
Простой
Как искать primary в реплике Монги?
1 подписчик
2 часа назад
29 просмотров
0
ответов
CSS
+1 ещё
Простой
Как сделать чтобы блок с border-dashed постепенно заполнялся border-solid?
2 подписчика
5 часов назад
211 просмотров
1
ответ
Компьютерные сети
+1 ещё
Средний
Как лечить потерю исходящих пакетов?
1 подписчик
7 часов назад
74 просмотра
0
ответов
Программное обеспечение и интернет-сервисы
+1 ещё
Простой
Простая программа для ведения электронной таблицы?
1 подписчик
12 часов назад
98 просмотров
4
ответа
Битрикс24
Средний
Почему в обработчике события OnAfterIBlockElementUpdate присвоение переменной значения свойства типа привязка к пользователю?
1 подписчик
12 часов назад
13 просмотров
0
ответов
Windows
Средний
Что делать если звук приглушается во время звонка?
1 подписчик
16 часов назад
100 просмотров
1
ответ
Excel
+1 ещё
Простой
Есть ли в Microsoft Word и Excel встроенный функционал использования вкладок, по аналогии с приложением Office Tab?
1 подписчик
17 часов назад
29 просмотров
0
ответов
Твердотельные накопители
+1 ещё
Простой
Ssd samsung m2 980 создает проблемы с играми. В чем может быть проблема?
1 подписчик
17 часов назад
60 просмотров
3
ответа
JavaScript
+1 ещё
Сложный
Как оптимизировать загрузку и парсинг больших JS файлов со стороны браузера/клиента?
1 подписчик
17 часов назад
90 просмотров
4
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
BDM / Менеджер по развитию бизнеса
Wanted
•
Москва
До 350 000 ₽
SMM/content-manager
Wanted
•
Лиссабон
До 2 500 $
Инженер технической поддержки на АРМ ( автоматизированные рабочие места )
ИТ-Холдинг Т1
•
Санкт-Петербург
До 80 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама