Есть специальные держатели,
такие или
такие.
Дорого? Тогда приварить к электродам ленту/проволоку и запаять на плату. Корпус аккумулятора закрепить двумя хомутами из проволоки, их тоже запаять в специально обученные отверстия. Клеить не вариант, оболочка аккума - это термоусадная пленка, она очень легко отрывается.
Еще можно выфрезеровать в плате пазы и крепить через них термоусадкой. В отличие от проволоки, меньше риск перегреть аккумулятор или устроить кз. Надежнее крепление: больше площадь контакта и аккумулятор гарантированно плотно прижат к плате. Но немного дороже.