Вам нужно добавить к элементу свойство outline со значением none, как сказали выше. Но хочу добавить, что бы вы были осторожны и попытались дать понять пользователю, что он навёл на эту кнопку любым другим способом, это нужно для доступности.
Рекомендуется предусмотреть индивидуальные стили фокусировки, которые улучшают пользовательский интерфейс и соответствуют вашему дизайну.
Статья в тему:
https://medium.com/@ABatickaya/%D0%B4%D1%83%D0%BC%... 
