Откровенно говоря, я не понял, что вы вообще делаете. Опишу как нужно это делать на мой взгляд.
Для авторизации по ключу через ssh у клиента должен быть приватный ключ, а на сервере, к которому он подключается - соответствующий публичный ключ.
Ansible по умолчанию будет работать из-под вашего пользователя (под которым вы работаете на машине с ansible). То есть вам нужно с помощью команды ssh-copy-id поместить публичный ключ этого пользователя на все сервера, которыми вы собираетесь управлять.
(Можно это сделать и руками через редактирование на сервере файла ~/.ssh/authorized_keys).
Еще можно сделать более удобно, на мой взгляд - чтобы когда с машины ansible вы подключаетесь к другим серверам использовался ваш собственный ключ, а не ключ пользователя ansible. Для этого на своей машине вам нужно включить AgentForwarding для хоста с ansible:
~/.ssh/config:Host myhost.com
ForwardAgent yes
