Ключи хранятся в $HOME/.ssh/authorized_keys (дефолтное имя, может быть изменено)
Каждый ключ - одна строка этого файла.
Кто их прислал посмотреть нельзя, поскольку их в этот файл можно даже просто вставить любым текстовым редактором, без всяких логов. Но в конце ключа обычно идет комментарий, который может помочь.
Удалить - просто удаляешь строчку с конкретным ключом. Обычным текстовым редактором (vi подойдет).