Здесь совсем нечеткая логика, скоре всего вам нужно будет парсить фразы на лексемы, затем определять грамматику самой фразы. Причем "после завтра в 5 30" и "завтра после 5 30" хоть и отличаются на одну букву, а промахнуться можно на сутки :-)
ну и наверняка не обойдется без какой нибудь векторной математики, типа какое действие за каким следует и к чему относится.
Ну и как минимум нужно много, очень много тестовых образцов. Например "вчера он сказал, что завтра будет дождь, дождя не было", "два дня назад от третьего воскресенья октября".