Как быстрее всего искать и удалять слово из датафрейма?

Question

[Ася]

мне нужно удалить все слова, которые повторяются в 1) каждой строке 2) выписать слова которые встречаются почти в каждой (например в 80% строк)

import pandas as pd

df = pd.DataFrame({'source': ['A B C D', 'A B L D', 'X B C D', 'A B C D', 'A Z B C D']})
print(df)

ind  source
0    A B C D
1    A B L D
2    X B C D
3    A B C D
4    A Z B C D

то есть мне например нужно удалить все В и D из данного примера, и вывести А и C как часто встречающиеся

Как лучше всего это делать на огромном датасете? (например 1млн строк)

Comments

[Алан Гибизов]

А как вы пробовали?

[Ася]

Алан Гибизов, вот так:

def mostFrequentWord(words):
    # Taking empty list
    lis = []
    for i in words:

        # Getting all words
        for j in i.split():
            lis.append(j)

    # Calculating frequency of all words
    freq = Counter(lis)

    # find max count and print that key
    max = 0
    for i in freq:
        if (freq[i] > max):
            max = freq[i]
            word = i
            return word, max

и потом

df['source'] = df['source'].apply(lambda row: mostFrequentWord(words)[0] in row)
print(df['source']==True)

[Алан Гибизов]

Ася, и - получилось? В чём проблема?

[Ася]

Алан Гибизов, получилось, но проблема во времени выполнения
как сделать быстрее на огромном датасете?