В общем, работает только при перезагрузке консоли. Делаешь изменения в файле, перезагружаешь консоль, и тогда работает.
Во встроенной в Пайчарм консоли можно просто нажать кнопку Return или Ctrl + F5
Причём и во встроенной в интерфейс Python Console и в запускаемой через терминал shell_plus поведения одинаковые.
Это штатное поведение консоли, которое я к своему удивлению открыл или это мой персональный баг?