С практически 99.9% вероятностью AWS тут совершенно ни при чем.
1. Смотрите сетевой стек на проблемных серверах(хоть отмониторьте его что ли, вы же смотрите в мониторинг?) Например, довольно часто встречающаяся проблема - незакрывающиеся tcp close_wait. Оптимизируйте настройки сети под ваше приложение.
2. мониторьте само приложение - что меняется в моменты залипаний. Попробуйте какой нибудь APM(NewRelic, Datadog и другие) если приложение позволит.
Вообще, если бы у вас были данные для анализа - можно было бы что-то предполагать.
Делайте мониторинг, если он еще не сделан. Смотрите в мониторинг.