Не пытал GLFW, но правильно ли я понимаю, что сигнатура функции позволяет послать 4 целых числа?
И при этом ни одно целое не предназначено для указательного или ссылочного типа.
Философски рассуждая, можно сказать, что параметры для callback формирует вызывающий, а не вы.
Если пытаться некрасиво философию взломать, то можете попробовать некрасиво воспользоваться глобальной переменной.