Спасибо, уже нашел ответ. Просто в русских доках этого не было.
При установке расширения CharInsert панель появляется в самом низу. Чтобы сделать так как на второй картинке, надо выполнить действия из этой статьи https://www.mediawiki.org/wiki/Extension:CharInsert