15432

idx = Hash % n

Например, протокол Диффи-Хеллмана подразумевает использование случайных данных. Каждый раз генерируется новый ключ, соответственно, повторить генерацию точно такого же ключа практически невозможно.

В других алгоритмах, например, при каждой успешной передаче увеличивается некоторый счётчик на каждой из сторон, который также кладётся в шифруемый пакет - получаем что при том же ключе данные каждый раз различаются. И при последующих передачах сравнением счётчика можно убедиться, что это повтор.

Почитайте на вики про RSA и асимметричную криптографию. Создается пара ключей - приватный/публичный, являющихся по сути очень большими числами. Приватный держится в секрете, публичный доступен другим. С помощью ключа можно произвести операцию над некоторым числом ("зашифровать") так, что получить изначальное представление возможно лишь зная другую часть ключа. Так и происходит подпись файла - вычисляется хеш-сумма (например, sha2, чтоб сложнее было подобрать), далее хеш шифруется при помощи приватного ключа и прикладывается к файлу. Публичным ключом подпись дешифруется и сравнивается с хешем файла. Это если очень кратко. В описанном существует несколько проблем - например, вопрос подлинности публичного ключа проверяющего.
Если вы не разбираетесь в шифровании, что-то своё пилить противопоказано, возьмите готовую реализацию - тот же openssl