Василий

ключ как то странно создается.

private static KeyPair generateKeyPair() throws NoSuchAlgorithmException {
        KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA");
        keyPairGenerator.initialize(2048); // Размер ключа
        return keyPairGenerator.generateKeyPair();
    }

попробуйте так

JWT это коробочка. Вот коробочки бывают с замком и без замка. Коробочку без замка может любой открыть и прочитать. коробочке с замком нужен ключик. Вот у вас Алиса и Боб знают этот ключик и могут обмениваться данными в этой коробочке. А кто то третий не знаю ключика не сможет не подменить коробочку , не достать из нее данные. не положить в нее другие. Вот собственно как работает JWT