Если третья сторона однократно получила как то доступ к приватному ключу, то в последующие разы ввод секретной фразы им естественно не понадобится.
Секретная/парольная фраза требуется только для того чтобы хранить зашифрованным приватный ключ локально.