Во-первых, читать про криптографию с открытым ключом.
Во-вторых, доступ к приватному ключу только у вас (ну и у рута, но не обязательно).
В-третьих, доступ к публичному ключу должен быть у рута (вернее у sshd, но он обычно запущен с рутовыми правами).
Может покажете? А заодно расскажете на каких именно мобильных устройствах такая проблема. Я сомневаюсь, что телефон с ретиной может показывать нормальный SVG хуже стандартного монитора.
