А долго, это например сколько?
3-5 минут? Секунды? У каждого свое понятие долго.
Если хотите посмотреть по времени ответа сервера, возьмите сообщение, которое вам ВК в json формате посылает, и вставьте его например в Postman, и запросите через него адрес бота. Так вы сможете получить примерное время ответа вашего скрипта на сообщение. Ну а дальше, уже оптимизация. Естественно, если у вас хостинг, а не VPS то скорости будут совсем не ахти.
P.S. по два сообщения скорее всего из-за превышения времени ожидания или ошибки. Вы CallbackApi используете?