briskly

Просто совет из личного опыта. Мне как то помог sleep от случайного значения

Вы собираетесь использовать это в реальном проекте, или так побаловаться? Просто насколько, я слышал, Django крайне не рекомендует использовать свой сервер из за проблем с производительностью/безопасностью. Так что я порекомендовал бы настроить данную фичу из фронт веб-сервера(Apache/Nginx)

Решал данную задачу.
Тогда я написал с около 10-ти регулярок. Просто регулярки надо делать универсальные, например:

r = re.compile(?P<day>__day__)__spl__{1,5}(?P<month>__monthnum__)__spl__{1,5}(?P<year>__year__)?)

__day__ итп. универсальные регулярки определенные заранее в словарике
Задача нет так сложна, как кажется с начала.
Для относительных дата своя регулярка, которая собирается из словарика.
И пост обработка для каждой группы. Типа формат месяца может быть разный, если слова то ищем в словаре.

На сколько я знаю абсолютно готовых реализаций нет.
Вы правильно написали, что можно работать без семантики(хотя с ней круче конечно).
Могу посоветовать только готовые библиотеки для кластеризации и машинного обучения. Например библиотека для python
В принципе задача не сложная, надо только правильно подготовить признаки.
И конечно, очень большая зависимость от корпуса для обучения. Мне кажется, что он должен быть достаточно крупным.

Единое решение для всех языков вы наверно не найдете. А так, мне кажется, вам стоит посмотреть национальные корпусы интересующих вас языков, там как правило очень много статистики, и при чем не завязанной на сленг, как google. Образцовым является Британский( www.natcorp.ox.ac.uk/), для других языков тоже тоже ) В крайнем случае скачайте sample и посчитайте частоту сами, я думаю не сильно ошибетесь.

Так же можете почитать про GIMP, он имеет пакетный режим обработки изображений из консоли

По поводу скорости, просто поищите бенчмарки:
stackoverflow.com/questions/7596612/benchmarking-python-vs-c-using-blas-and-numpy

как вариант логировать в файл, а от туда читать, если есть необходимость, то можно читать в динамике для *nix: tail -f log.txt

выделение групп «близких» по составу новостей

Это скорее задачи кластеризации а не похожести.
Готовые библиотеки на php не скажу, а если интересен python то запросто.
Известные алгоритмы
к-ближайших соседей
неотрицательная факторизация матриц
и много много других
Подробнее можно почитать тут:
scikit-learn.org/stable/modules/clustering.html#overview-of-clustering-methods

aot.ru/
packages.python.org/pymorphy/
company.yandex.ru/technologies/mystem/
nlp.lsi.upc.edu/freeling/

Проекты по второй и третьей ссылке основываются на aot, freeling не уверен что умеет из коробки склонять, но словари там тоже что надо. Так что если что можно научить
Рекомендую для начала pymorphy, на мой взгляд самый простой из всех.

P.S. В этой области без ошибок никак

Если вы имеете под другими программами свое ПО, то есть у скайпа есть API, которое позволяет сделать то, что вы говорите, если нет то уточните, что такое «другие программы»