vikholodov

asyncio и websockets, тут можно подсмотреть https://github.com/Bearle/django-private-chat
Я делал чат и систему уведомлений, полет нормальный, celery также возможно понадобится.

Я бы добавил многопоточность, каждому потоку дать на съедение свою часть "массива". Ну и не совсем понятно в каком виде хранится у вас все это добро, если под массивом имеется ввиду список, то может быть можно использовать генератор с проверкой на вхождение в список искомых слов?

По django преступно мало инфы на русском, на том же ютубе куча видео где учат говнокоддингу. Мне приходилось нанимать ментора на самом начальном этапе, собирать по крупицам инфу в рунете ну и учиться читать официальную доку

Что если массивы формируются циклом, как записывать каждый массив в отдельный столбец? У меня просто перезаписывается столбец

def main():
    keyword = ['окна', 'окна ПВХ']

    for i in keyword:
        url = 'https://yandex.ru/search/?text='+i+'&lr=22&rstr=-22'
        all_links = get_all_links(get_html(url)) #получаем список ссылок по ключевому слову i
        for links in all_links:
            frame = pd.DataFrame(all_links, columns=[i])  # собираем фрейм
            frame.to_csv('my_csv_export.csv', index=False)  # экспортируем в файл