Как убрать дубли по key в большом файле?

Andrey Dugin, на каждый айтем сета уходит 96 байт помимо памяти на хранение самого айтема.
Ну да ладно, можем разойтись каждый при своих подозрениях )

Как убрать дубли по key в большом файле?

Andrey Dugin, еще раз укажу: если все строки уникальные - в конце концов все они окажутся в твоём множестве cache, в памяти.

Как убрать дубли по key в большом файле?

как ваш вариант будет работать если ваш файлик неожиданно окажется в районе 100Гб?

Роман, Andrey Dugin, большой файл бьётся на чанки, влезающие в память, например по 1гб, они сортируются и сохраняются в файлах.
Затем данные из этих файлов в один проход потоково сливаются с помощью heapq.

Как убрать дубли по key в большом файле?

твоё fp.readlines() с ещё большей вероятностью не влезет в память, не так ли?)

Andrey Dugin, не так: во-первых топикстартер не жаловался на то, что его код не проходит строчку print(len(ds)). Так что не передёргивай - мой пройдёт наверняка.
К к моменту завершения твоего кода на N (почти) уникальных строк ты будешь иметь в памяти set размера N, а мой расход памяти составит list размера N, что, согласись, меньше.
Я ценю твоё стремление умение писать лаконичный код, но иногда это выливается в какой-то позор в плане элегантности и эффективности. Пример: b = choice(tuple(diff(a, b, c)))здесь. Я не плачу от этого кода кровавыми слезами, но там рядом лежит решение в императивном стиле, и оно мне нравится больше )

Как убрать дубли по key в большом файле?

Andrey Dugin, рад за тебя.
Однако я просто поменял несколько строк из кода топикстартера, сохранив его стиль и имена переменных, так что ему легче разобраться и он имеет рабочий код.
Так что собери глаза в тряпочку и будь добр, прими как данность: твой код на сожрёт гораздо больше памяти и на больших наборах уникальных строк, возможно, упрётся в своп.

Как убрать дубли по key в большом файле?

Множество - это громоздко, может не влезь в память. Посмотри на мой вариант.

Что работает лучше: $3 vs $2.99?

спрос идет в большей прогрессии

Здесь не Канада, говори по-русски.

Что подавать на вход нейронке?

Денис Гончаренко, ты главного не понял: нейронка сама решает, что важно а что нет, а если бы ты ей указывал - она бы была не более эффективна, чем ты.

Что подавать на вход нейронке?

Денис Гончаренко, я рад за тебя: ты умнее нейронки и помнишь морфологию. Но всё-таки я бы не стал утверждать, что паддинг не позволит нейронке выявить зависимости, ведь не части же слова ты ищешь.
Если всё-таки части - выбрось нейронку и воспользуйся библиотекой pymorphy.

Что подавать на вход нейронке?

Денис Гончаренко,

"пример" -> "пример                                  "

Как называется разъем?

RigidStyle, ищи по корпоративным каталогам

Из-за чего возникает "too many values to unpack (expected 2)"?

dBegginer, попробуй закомментировать строку

train_dataset = np.reshape(train_dataset, [-1, BATCH_SIZE, 2])

Из-за чего возникает "too many values to unpack (expected 2)"?

dBegginer, нет, не изменится.
За раз хоть функция, хоть генератор возвращает одно значение (возможно контейнер). Вот этот контейнер у тебя и велик.

Hashmap в Node.JS для 350М+ объектов, что выбрать?

Алексей, --max-old-space-sizeтыц

Python как создать мне массив?

Ответ на 5.21312 баллов!

Как перевести число в 16-ричное представление?

Ты же сам знаешь.

Есть ли разница между методами сравнением Decimal чисел?

А кстати, взгляни на эту проблему по-нашему.

Как зациклить выполнение функции, пока не нажата другая кнопка на пульте?

Хочешь у нас узнать, как сделать бесконечный цикл? Прекрати, ты же несерьезно...

Стоит ли обучаться работе с Linux frontend разработчику?

Нет.
От таких занятий у frontend-разработчика тает карма.
Лучше займись уборкой по дому, или хотя бы помойся.

Как присвоить числу определенное значение или значение из массива?

Число портится от того, что ему присваивают не его значение.
Не делай так.