Свой класс-потомок
Formatter написать. В нём переопределить метод format().
А потом при конфигурации logging задать экземпляр этого класса для нужных Handler'ов.
В принципе, можно попробовать отнаследоваться от StreamHandler и поиграть с его методами, если я верно понимаю что ты хочешь сделать.