Это не Го, это браузер: в первый раз он переоткрывает соединение, хост резолвит и т.д., в последующем он работает с уже открытым соединением и различными кэшами связанными с данным запросом/адресом. После некоторого бездействия соединение закрывается, кэши сбрасываются, поэтому запрос опять отрабатывает дольше
