1) при подключении снаружи время на разрешение имен хостов (DNS resolution) увеличивается до сотен миллисекунд. Если вы планируете доступ снаружи в основном с одного хоста, то можно попробовать прописать на нем DNS, например, 8.8.8.8, и снова построить диаграмму.
2) самое главное - по какой-то причине время на установление tcp-соединения возрастает до тысяч миллисекунд. Здесь можно с клиента проверить пинг до внешнего адреса сервера (т.е. того, который используется при подключении). Если есть линукс-машина с выходом в интернет (или на клиенте стоит линукс), можно воспользоваться hping следующим образом:
hping -c 10 --syn --destport 80 <IP адрес или имя хоста сервера>