Как удалить из текста редко встречающиеся слова?

Question

[Аля]

Как из большого текстового файла (более 20Гб) удалить слова встречающиеся 1-2 раза?

Comments

[sim3x]

Подробнее опишите задачу и цели

[Аля]

sim3x, есть файл(25ГБ) мне нужно удалить слова которые на протяжении всего файла встречаются 1 или 2 раза, все остальные оставить на своих местах

[sim3x]

Аня,
Тип файла
Зачем удалять
Требуется ли нормальизация слов
Сколько четко раз должно встречаться слово для удаления
Что делать в опечатками слов

Скопируйте полное описание задачи так как вам ее поставили

[Аля]

мне никто не ставит задачи

1) тип фала обычный txt
2) удалить надо потому что строить эмбеддинги по словам которые встречаются в тексте менее 3х раз бессмысленно
3) нормализация слов уже была произведена (на каждой строке файла уже хранятся нормированные слова)
4) слово должно встречаться 3 и более раз
5) если есть опечатки встречающиеся более 3х раз пусть живут, если менее то удалять

[sim3x]

Аня,

https://phitchuria.wordpress.com/2018/09/27/python...
https://stackoverflow.com/questions/12942806/remov...
https://www.google.com.ua/search?q=ntlk+delete+rar...