Как убрать дубли по key в большом файле?

Andrey Dugin, да я знаю, что set не идексируется. Просто эта вынужденная глубина вложенности не элегантна, да и цепочка операций tuple(diff... тяжеловесна против моментально сходящихся итерацией у меня.

Как убрать дубли по key в большом файле?

Andrey Dugin, на каждый айтем сета уходит 96 байт помимо памяти на хранение самого айтема.
Ну да ладно, можем разойтись каждый при своих подозрениях )

Как убрать дубли по key в большом файле?

Andrey Dugin, еще раз укажу: если все строки уникальные - в конце концов все они окажутся в твоём множестве cache, в памяти.

Как убрать дубли по key в большом файле?

как ваш вариант будет работать если ваш файлик неожиданно окажется в районе 100Гб?

Роман, Andrey Dugin, большой файл бьётся на чанки, влезающие в память, например по 1гб, они сортируются и сохраняются в файлах.
Затем данные из этих файлов в один проход потоково сливаются с помощью heapq.

Как убрать дубли по key в большом файле?

твоё fp.readlines() с ещё большей вероятностью не влезет в память, не так ли?)

Andrey Dugin, не так: во-первых топикстартер не жаловался на то, что его код не проходит строчку print(len(ds)). Так что не передёргивай - мой пройдёт наверняка.
К к моменту завершения твоего кода на N (почти) уникальных строк ты будешь иметь в памяти set размера N, а мой расход памяти составит list размера N, что, согласись, меньше.
Я ценю твоё стремление умение писать лаконичный код, но иногда это выливается в какой-то позор в плане элегантности и эффективности. Пример: b = choice(tuple(diff(a, b, c)))здесь. Я не плачу от этого кода кровавыми слезами, но там рядом лежит решение в императивном стиле, и оно мне нравится больше )

Как убрать дубли по key в большом файле?

Andrey Dugin, рад за тебя.
Однако я просто поменял несколько строк из кода топикстартера, сохранив его стиль и имена переменных, так что ему легче разобраться и он имеет рабочий код.
Так что собери глаза в тряпочку и будь добр, прими как данность: твой код на сожрёт гораздо больше памяти и на больших наборах уникальных строк, возможно, упрётся в своп.

Как убрать дубли по key в большом файле?

Множество - это громоздко, может не влезь в память. Посмотри на мой вариант.

Что работает лучше: $3 vs $2.99?

спрос идет в большей прогрессии

Здесь не Канада, говори по-русски.

Что подавать на вход нейронке?

Денис Гончаренко, ты главного не понял: нейронка сама решает, что важно а что нет, а если бы ты ей указывал - она бы была не более эффективна, чем ты.

Что подавать на вход нейронке?

Денис Гончаренко, я рад за тебя: ты умнее нейронки и помнишь морфологию. Но всё-таки я бы не стал утверждать, что паддинг не позволит нейронке выявить зависимости, ведь не части же слова ты ищешь.
Если всё-таки части - выбрось нейронку и воспользуйся библиотекой pymorphy.

Что подавать на вход нейронке?

Денис Гончаренко,

"пример" -> "пример                                  "

Как называется разъем?

RigidStyle, ищи по корпоративным каталогам

Из-за чего возникает "too many values to unpack (expected 2)"?

dBegginer, попробуй закомментировать строку

train_dataset = np.reshape(train_dataset, [-1, BATCH_SIZE, 2])

Из-за чего возникает "too many values to unpack (expected 2)"?

dBegginer, нет, не изменится.
За раз хоть функция, хоть генератор возвращает одно значение (возможно контейнер). Вот этот контейнер у тебя и велик.

Hashmap в Node.JS для 350М+ объектов, что выбрать?

Алексей, --max-old-space-sizeтыц

Python как создать мне массив?

Ответ на 5.21312 баллов!

Как перевести число в 16-ричное представление?

Ты же сам знаешь.

Есть ли разница между методами сравнением Decimal чисел?

А кстати, взгляни на эту проблему по-нашему.

Как зациклить выполнение функции, пока не нажата другая кнопка на пульте?

Хочешь у нас узнать, как сделать бесконечный цикл? Прекрати, ты же несерьезно...

Стоит ли обучаться работе с Linux frontend разработчику?

Нет.
От таких занятий у frontend-разработчика тает карма.
Лучше займись уборкой по дому, или хотя бы помойся.