Astrohas

Парсинг в реальном времени зло которое замедлить всю вашу систему. А не проще ли индексировать сайты в базу данных и от туда выдавать результаты? Можно запускать задачи парсинга например раз 10 минут, чего будет достаточно.
Параллелизм обычно делается потоками. Можно почитать тут https://habrahabr.ru/post/229767/, https://habrahabr.ru/post/78267/
.
Для организации тасков можете какую нибудь целюру использовать

import re
splited_file = open(output_path, 'w', encoding = 'utf-8')

with open("файл.txt") as f:
    articles = re.split(r'\n\s*\n', f.read(), flags=re.M)
    
for i in range(len(articles)):
    article = articles[i]
    file_name = "{}{}.txt".format(article[:20],str(i))
    file = open(file_name, mode='w')
    file.write(article)
    file.close()