В админке "Внешний вид" -> "Виджеты". Там из "доступных виджетов" перетаскиваете "текст" в сайдбар справа, в нём уже пишете html код иконок. Пример кода:
<a href="https://vk.com/riot26"><img src="https://imedrese.com/static/base/images/icons/vk.png"/></a>
