Это сам ВКонтакте тупит.
У меня бот, использую только для себя, 1-3 команды в сутки, сервер не нагружен нисколько. А бот бывает минут 5-10 не отвечает.
Оказалось это ВК не всегда сразу по событиям шлет запросы на сервер. Сообщение пришло, а callback api не сработал