Как убрать дубли по key в большом файле?

большой файл бьётся на чанки, влезающие в память, например по 1гб, они сортируются и сохраняются в файлах.
Затем данные из этих файлов в один проход потоково сливаются с помощью heapq

longclaps, если честно, не знал про существование heapq, действительно интересная штука))
Но если копнуть глубже, то предложенный вами вариант делает ровно тоже что и большая часть рядовых БД при работе с таблицами содержащими большое количество записей и имеющие поля помеченные как уникальные.

Как убрать дубли по key в большом файле?

Уважаемые, и тут спрошу, как ваш вариант будет работать если ваш файлик неожиданно окажется в районе 100Гб?

Как убрать дубли по key в большом файле?

Дмитрий Темников, rm -Rf же?

Как убрать дубли по key в большом файле?

если это

к̶а̶к̶ ̶в̶а̶р̶и̶а̶н̶т̶ ̶м̶о̶ж̶н̶о̶ ̶п̶о̶п̶р̶о̶б̶о̶в̶а̶т̶ь̶ ̶т̶а̶к̶

про мой ответ, то я все равно ни фига не понял ( в̶о̶д̶к̶а̶ python это не мое)))

Почему не верно отображается массив объектов в Chrome после сортировки?

Алексей Уколов, благодаря вам узнал что sort cортирует на месте. Был уверен что это не так но не пойму откуда взялась эта уверенность)
Спасибо за наводку

Почему не верно отображается массив объектов в Chrome после сортировки?

Извиняюсь, ввел в заблуждение. Все таки sort сортирует на месте.

Почему валидация сработала не так как задумывалась?

olya_097, можно, но не нужно. Вы ведь пытаетесь сделать некий универсальный инструмент, но при этом смешиваете логику обработки. Например эта часть:

if (phone === true) {
       bool_reg = !regExp.test(value);
     } else {
       bool_reg = regExp.test(value);
     }

в ней вы в зависимости от ситуации даете разные результаты работы регулярки, что в свою очередь запутывает логику вызова функции validate, добавляет доп флаг phone для конкретного случая. Что будет если таких конкретных случаев у вас будет 10? вы добавите 10 доп флагов?

Добавляя в валидатор этот код:

if (value.length > length && value !== '' && bool_reg) {
       that.removeClass('form-fail').addClass('form-done');
       $(error).slideUp();
     } else {
       that.removeClass('form-done').addClass('form-fail');
       $(error).slideDown();
     }

вы смешиваете логику проверки и логику обработки результатов проверки. Желательно так не делать.

Обратите внимание на приведенный мной вариант. Он универсален для всех возможных случаев валидации формы, позволяет просто и красиво задавать граничные условия для проверяемых значений. Но реализует лишь логику проверки. Взяв его за основу, задав необходимые для вашей задачи валидаторы, вы можете написать красивый и понятный код, реализующий логику обработки результатов проверки.

Почему валидация сработала не так как задумывалась?

like-a-boss, про jquery согласен. Про автоматизм тоже. Но конкретно про валидацию нет)))
Не унифицированная валидация добавляет в программу кучу функций, каждая со своей , плохо читаемой логикой из-за обилия if-ов, проверок на типы и кучи || и &&. Лучше один раз разобраться с унификацией этого вопроса чем потом часами выискивать ошибку в коде (наподобие представленного автором)
ЗЫ: естественно, что унифицировать данный процесс надо несколько иначе, чем это делается у автора.

Can't set headers after they are sent?

Андрей, не за что.

Почему валидация сработала не так как задумывалась?

Не пытаться унифицировать функцию валидации

категорически не согласен))))

Почему валидация сработала не так как задумывалась?

dollar, тут согласен с Вами полностью. Но мне кажется что автор только учится. При этом она делает это достаточно активно и очень трудолюбива, но во многих вопросах пока еще плавает. За усидчивость и трудолюбие всегда делаю ей небольшие поблажки)))

Почему валидация сработала не так как задумывалась?

like-a-boss, dollar, отчасти вы правы, но ведь и сами понимаете что иногда сформулировать вопрос очень трудно (в силу ряда субъективных причин). Этот вопрос родился у автора с моей подачи. По ее вопросам хорошо видно, что она не может идентифицировать саму проблему (не хватает знаний и опыта), потому и вывалила комом. Даже в таком случае я бы ей ответил, разжевав и дав более правильный (в долгосрочной перспективе) вариант реализации ну или намек на него, но все никак не могу приспособиться писать код на терефоне, а до компа доберусь не скоро)))

Как регуляркой проверять на пустоту?

olya_097, гляну конечно. Но не с телефона а когда до компа доберусь

с телефона очень плохо видно)

Как регуляркой проверять на пустоту?

olya_097, ваш вопрос был "Как регуляркой проверять на пустоту?" и я на него ответил.

Из примера видно, что регулярка работает как надо (определяет наличие пустой строки)
https://jsfiddle.net/t973546n/

Хотите получить ответ на вопрос, почему ваша валидация все равно не работает так как задумывалось - сформулируйте и задайте отдельный вопрос

Как регуляркой проверять на пустоту?

Ответил, но не пойму для чего вам это?

Как лучше назвать у пользователя процент вопросов, в которых он отметил хоть один ответ решением?

xmoonlight, на самом то деле у доллара все готово наверно, и осталость только название придумать. Так что мои фактазии похоже так и останутся фантазиями.

Как исправить данную ошибку?

Влад, да не за что. Обращайтесь))))

Как исправить данную ошибку?

Влад, тут вам пишет:

TypeError: Cannot use `in` operator to search for `Статус` for undefined

что означает:

вы не можете использовать оператор in для поиска "Статус" если переменная в которой производится поиск НЕОПРЕДЕЛЕНА

тоесть (смотрим на этот кусочек ("Статус") in el.changelog)
el.changelog не определена!!!!!

таким образом перед обращением к el.changelog надо проверить, существует ли он:

el.status = el.changelog ? ("Статус") in el.changelog ? el.changelog["Статус"].after : 'не назначен' : 'нет лога изменений';

Как исправить данную ошибку?

Влад, вам надо понять, почему для некоторых авторов changelog есть а для некоторых его нет. Понять должно ли так быть. Если должно, то перед тем как обращаться к el.changelog в строке

el.status = ("Статус") in el.changelog ? el.changelog["Статус"].after : 'не назначен';

нужно проверять его на существование примерно так:

el.status = el.changelog ? ("Статус") in el.changelog ? el.changelog["Статус"].after : 'не назначен' : 'нет лога изменений';

Как исправить данную ошибку?

Влад, хотя нет, судя по тому что вывело в 6-м элементе массива list, то на этом элементе выкинет ошибку, так как в нем нет свойства changelog