через псевдоэлемент :after или :before
получится нечто следующее:
Стрелка вверх и вниз:.btn:before {
content'';
position: absolute;
width: 0;
height: 0;
border-left: 5px solid transparent;
border-right: 5px solid transparent;
border-bottom: 5px solid black;
}
Стрелки в другие стороны можно глянуть здесь:
css-tricks.com/snippets/css/css-triangle
Вместо
border можно вставлять в свойство
content символ из шрифтов либо юникода. Часто в шрифтах есть наборы иконок.
Если есть набор иконок, то можно прописать кнопке в html дополнительные классы, вроде
icon arrow-down и псевдоэлемент с нужной иконкой будет вставлен в кнопку.