Дмитрий Дерепко

Добавьте директиву break.
В вашем случае nginx находит секцию location /path/to/file.php, но продолжает дальнейший поиск и находит еще и location ~ \.php$.
Директива break отключит это поведение для нужного location.

Было бы хорошо, если бы вы поделились, что это за файл: сколько весит; когда появляется на странице; что появляется на странице до него.
Судя по колонкам "Время" и "Каскад загрузки", и по полоске для прокрутки страницы, у вас на странице начинается взрыв активности и запросы идут один за одним. Если посмотреть на колонку "Время", то запросы идут довольно быстро.
Осмелюсь предположить, что ваш выбранный запрос лежит где-то в самом конце этого списка. Отсюда и задержка в загрузке: веб-серверу нужно обработать все предыдущие запросы, прежде чем дойти до вашего. Попробуйте закешировать выдачу js/css/картинок и в следующий раз загрузить новую картинку.
Кстати, на чем написано приложение? PHP? Python?

А зачем php-fpm присваивать порт 8081? у него и 9000 прекрасно работает.

Покажите ваши конфиги.

> почитал документацию и столкнулся с проблемой что nginx не отправляет по локахосту на другой порт

Не совсем понятно, что вы имели ввиду. Для php-fpm есть fastcgi модуль.

Вангую, что вы потеряли server_name site1.ru;

https://www.google.com/search?q=nginx+long+url+502...

SSL

Написано же

connect() failed (111: Connection refused) while connecting to upstream, client: 141.8.183.17,

А вообще, вы уверены, что используете правильную директиву upstream?

P.S. Неплохо было бы увидеть конфиг

1. Вставьте код с помощью тега <code></code>
2. По какому адресу вы обращаетесь?

Сделайте лимит обращений по ip адресу. Например, штук 5 запросов в секунду. Настраивается в nginx

location ~ ^/admin/?(.+) {
   set $root /backend/web;
   try_files $root/$1 /$uri $root/$uri $root/index.php$is_args$args;
}

location / {
    return 302 site.com/stub.html;
}

перед всеми location'ами