Можно ли как-то сделать такие границы у кнопки средствами только CSS?
Проще, конечно, background-image засунуть такой, но наверняка же можно и через CSS это сделать?
Не надо картинкой. Картинки - ущерб))))))))
Да, лучше svg-шкой бахнуть.
Через css маской можно через clip-path (но это опять же в svg маску рисовать).
Можно через border-radius поиграться. Но не факт, что точно такой же результат будет.
Лучше конечно картинкой, благо она будет небольшой. Можно сделать через SVG, возни много, но зато потом точно будет понятно, что быстрее это сделать через картинку.