Меня она бесит. Она появляется, когда что-либо делаешь с клавиатуры при фокусе на рабочем столе, даже просто нажимаешь кнопку пуск - она появляется и более не исчезает до перезапуска эксплорера.
РЕШЕНИЕ:
В реестре идём в HKEY_CURRENT_USER\Control panel\Desktop.
Там два параметра - FocusBorderWidth и FocusBorderHeight. Оба ставим на 0, перезапускаем Explorer. Готово!

Хаха! Нашёл в чём проблема, оказывается, можно (в том числе случайно) установить несколько копий шрифта. Вот что при этом говорит приложение "Шрифты"

Если удалить дублирующие файлы - всё встаёт на место.
Всё-таки это была ошибка пользователя