Очень вероятно, что задержка происходит на стороне Vk, но нужно детально ресёрчить и искать bottleneck. Нагрузка 50% CPU вполне штатная и в данном случае нужно смотреть с нагрузкой на сеть. Вероятно, поможет горизонтальное масштабирование (у callback api есть возможность указывать несколько серверов).