Могу посоветовать сделать функцию без модификатора __stdcall и попробовать собрать Qt в Debug, а там подцепить сырцы Qt и посмотреть где выходит ошибка.
Однако, данная ошибка больше смахивает на Access violation или Stack overflow. Советую проверить код на других машинах с windows. Если проблема сохраняется — возможно, перегрузка стека, что, кстати, не удивительно, ведь __stdcall означает что аргументы передаются через стек.
Увы, я не могу никак прокомментировать данную ошибку и поведение в среде Windows, но советую проанализировать его без такого модификатора, или заменив на какой другой.
