Отличие в том, у кого есть доступ к тому и другому ключам, и кто, соответственно, может выполнить шифрование/расшифровку.
1) Передача сообщения: зашифровать может кто угодно (открытым ключом), расшифровать - только один (закрытым ключом).
2) ЭЦП: зашифровать (подписать) может только один, расшифровать (проверить подпись) - кто угодно.