Там используется иконочный шрифт. Чтобы поставить свои картинки нужно править стили админки, которые непременно слетят при обновлении WordPress. Так что, если это просто "хотелка", а не необходимость, то лучше не заморачивайтесь.
Если же это необходимость, то пишите собственные стили для админки и выделяйте их в отдельный файл, который будет лежать в папке с темой. Как это сделать посмотрите на примере стандартного шаблона Twenty Thirteen - там есть файл со стилями для админки.