Генерируете пару ключей RSA как обычно, длина ключа минимум 4096 бит.
Делите получившийся секретный ключ на куски по количеству участников. Куски необязательно равные по длине.
Каждый кусок шифруете публичным ключем участника и отсылаете ему зашифрованный кусок.
После рассылки удаляете цельный секретный ключ.
Все, теперь использование этого ключа доя подписи булет возможно, только если все участники вернут расшифрованные куски и некая программа соберет в целый ключ и затем подпишет данные. Эти операции надо производить на зашищенном устройстве, чистить память после каждого сеанса итп. Но в целом схема, надеюсь, ясна. Называется общий секрет или RSA shared secret.