Как настроить Nginx в качестве прокси?

Question

[Svav]

Весь день и пол ночи пытаюсь настроить, уже сил нету(

Нужно xxx.com/adb отображался как yyy.com (с заменой всех ссылок с xxx.com/adb на yyy.com)
Вот кусок кода:

server {
        listen 80;
        server_name xxx.com;
        root /var/www/yyy.com/web;
location /adb/ {
            resolver 8.8.8.8;
            proxy_pass http://yyy.com;
            proxy_redirect off; 
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
        }
    }

Данный конфиг хорошо работает с ip адресами, но с доменными именами работать не хочет.
Думал проблема в конечном сервере, заменил для эксперимента на другие доменные имена, а результат вообще странный получился. yandex.ru отказывается работать, ya.ru вроде работает. С некоторыми сайтами выдает ошибку 502 или 404 (но тут наверно не в ту сторону начал копать уже)
И подскажите плиз как заблокировать загрузку файла к примеру xxx.com/adb/logo.png с удаленного сервера.

Answer 1

[Юрий]

server {
  listen 80;
  server_name xxx.com;
  root /var/www/yyy.com/web;
  location /adb/ {
    resolver 127.0.0.1;
    rewrite ^/adb/(.*)$ /$1 break;
    proxy_pass http://yyy.com;
    proxy_redirect default; #???
    proxy_set_header Host yyy.com;
  }
}

Не поленитесь поставить named на локалхост. В CentOS, например, достаточно запустить дефолтную конфигурацию (yum install bind && chkconfig named on && service named start). Так будет проще и быстрее резолвить, чем каждый раз стучаться в гуглоднс.
Далее - если не сделать rewrite с break, убрав ваш локейшн, то запрос на xxx.com/adb/ уйдет не на yyy.com, а на yyy.com/adb/. И если там такого урла нет - получим 404 или что-нибудь еще хуже.
Далее - если собрались проксировать трафик на yandex.ru, то при проксировании подставляйте заголовок "Host yandex.ru". Если оставить, как есть "Host $host", то получится, что на yandex.ru придет ваш запрос, который ищет xxx.com на хосте с yandex.ru, как следствие - 404.
Далее - nginx.org/ru/docs/http/ngx_http_proxy_module.html#... - стоит разобраться с proxy_redirect. Для разных узлов возможны разные значения. Обычно хватает default, но вполне может понадобиться и off или другие параметры.

Чтобы заблокировать xxx.com/adb/logo.png при проксировании:

location ~ ^/adb/logo\.png$ {
  empty_gif;
}

В location можно также и так:
location = /adb/logo.png {
Либо вместо empty_gif если надо отдавать свою картинку - тогда можно, например, сделать rewrite в нужный урл и отдавать картинку от себя.

P.S. Можно также сделать пару локейшнов для статических элементов, чтобы обрабатывать их отдельно и класть в локальный кеш - сокращается трафик и ускоряется доступ.

Comments

[Svav]

Bind установил из начале, но можно уточнить для чего? Почему resolver 8.8.8.8 не подойдет?
А если картинку нужно заменить на: /var/www/yyy.com/web/logo.png

[Юрий]

Svav: resolver используется для разрешения имен в случае, если ты проксируешь не на IP-адрес, а на доменное имя. Если я правильно помню (надо в документации посмотреть), то nginx резолвит имена в конфиге один раз при старте. В случае, если у тебя стоит сторонний адрес - прибавь ко времени старта время, которое ушло на запрос для резолвинга имени. Если же у тебя есть локальный DNS, гораздо проще спрашивать у него - если имя уже есть в кеше DNS - резолвинг выполнится не за 50-100 мс, а гораздо быстрее.

Про картинку - я бы сделал так в секции server:
rewrite ^/adb/logo.png$ /logo.png last;
Можно также вместо last попробовать break. Но, вроде как, особого различия в данном случае это дать не должно.

[Svav]

xtreme: спасибо за советы, учту.
А вот по поводу:
rewrite ^/adb/logo.png$ /logo.png last;
не заменяет файл
Только в таком случае:
rewrite ^/adb/logo.png$ www.yyy.com/logo.png last;

[Svav]

И еще у меня на проксирующем сервере были файлы www.xxx.com/robots.txt
который стал теперь не доступен. (запрос уходит на yyy.com) Как прописать его для доступности?

[Юрий]

Svav: оба вопроса показывают, что конфиг не настолько прост и не все условия верны. Если есть возможность - покажи целый конфиг.

[Svav]

Он не такой большой, пока смотрю что к чему:
server {
listen 80;
server_name xxx.com;
access_log /var/www/xxx.com/log/access.log;
error_log /var/www/xxx.com/log/error.log;
root /var/www/xxx.com/web;
rewrite ^robots.txt$ /var/www/xxx.com/web/robots.txt last;
location /adb/ {
resolver 127.0.0.1;
rewrite ^/adb/(.*)$ /$1 break;
proxy_pass http://yyy.com;
proxy_redirect default;
proxy_set_header Host yyy.com;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

[Юрий]

У тебя в реврайте с robots.txt написана чушь, которая никогда не сработает. Не вижу реврайт для logo.png, из-за чего могу предположить, что ты его не туда вставлял, оттого он и не работал.

По поводу robots.txt, который стал недоступен - быть такого не может, если в конфиге остался root и других, кроме adb, локейшнов не вписано.

[Svav]

rewrite ^/adb/logo.png$ /logo.png last;
работает в сочитании с:
location /logo.png {
root /var/www/xxx.com/web/;
}
в противном случае файл logo.png ищет на удаленном сервере.

[Юрий]

Svav: искать на удаленном сервере оно должно, если ты ре врайт написал внутри локейшна с проксированием. Вариан с другим локейшном тоже нормально. Фактически, тебе надо корневой локейшн обрисовать и всё.

[Svav]

Еще вопрос по поводу "proxy_set_header X-Real-IP $remote_addr;" Он передает IP адрес клиента.
То-есть удаленный сервер считает IP адрес клиента из X-Real-IP или берет IP адрес сделавшего запрос.
Интересует в плане, будет-ли считаться это ддос атакой со стороны прокси Nginx.

[Юрий]

Svav: Это уже зависит от настроек сервера на той стороне. Что ты ему передаешь, то он и видит. Но вообще, обычно, смотрится X-Forwarded-For, как заголовок, который используют неанонимные прокси-серверы для обозначения адреса клиента.
Кстати, хотя nginx и умеет проксировать, все же для доступа большого числа клиентов к неограниченному (или ограниченному) числу сайтов лучше применять именно прокси-серверы. Был опыт установки nginx в качестве прокси для всего HTTP и могу сказать, что Squid с такой задачей справляется гораздо лучше.

Answer 2

[Сергей Усов]

server {                                                                                                                                                                                            
       listen  80;                                                                                                                                                                                        
       server_name yyy.com;                                                                                                                                                                                                                                               
                                                                                                                                                                                                                                                                                 
        location / {
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header Host $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_pass http://xxx.com/adb/;
        }
}

Comments

[Svav]

Увы, ошибка 404.

[Сергей Усов]

1. Работает ли dns на клиенте и на прокси?
2. Что в логах на прокси и на бэкэнде?

[Svav]

1. На прокси стоит bind9
2. С логами по сложнее. Прокси один, иногда ничего нет в логах, в аксессе только упоминание что ошибка 404/502
А иногда весьма печальная ошибка
2015/06/11 13:55:20 [error] 18389#0: *1 connect() to [2a11:268:20a:62:1193::]:80 failed (101: Netwo
rk is unreachable) while connecting to upstream, client: X.X.X.X, server: yyy.com, requ
est: "GET / HTTP/1.1", upstream: "http://[2a11:268:20a:62:1193::]:80/", host: "yyy.com"
На удаленном сервере из-за политики фирмы лог достать будет сложно и долго.
Если перенаправить на локальный сервер, получаю ошибку 502 и логи на сервере тогда:
2015/06/11 13:40:39 [error] 3856#0: *395887 yyy.com could not be resolved (3: Host not found), client: X.X.X.X, server: _, request: "GET / HTTP/1.0", host: "yyy.com"
В данном случае получается что прокси берет yyy.com и запрашивает этот домен у сервера где домен xxx.com

Может я вообще из начале что-то не так настроил и лезу не в те дебри?

[Сергей Усов]

Мне больше интересно, что отвечает dns.
Что вернут
host xxx.com и
host yyy.com?

Если на прокси сказать wget xxx.com/adb, что получим?

Добавьте в конфиг перед location
access_log /var/log/nginx/yyy.com/access.log;
error_log /var/log/nginx/yyy.com/error.log;
Не забудьте создать каталог /var/log/nginx/yyy.com/

[Svav]

Получаю вполне нормальный ответ:
Распознаётся yyy.com (yyy.com)… Z.Z.Z.Z, 2a11:268:20a:62:1193::
Подключение к yyy.com (yyy.com)|Z.Z.Z.Z|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 200 OK

[Сергей Усов]

Svav: yyy.com это фронтенд или бэкенд?

[Svav]

Сергей: А это так важно, в том плане что есть какая-то разница? Скорее всего это вообще фронт-енд сервер.

[Сергей Усов]

Svav: конечно важно. Я хочу понять, видит ли фронтенд (сервер, где у вас nginx) ресурс на бэкенде и может ли к нему подключиться

[Svav]

Удаленный сервер запросы получает но неверные.
Сочетание:
proxy_pass xxx.com/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
Передает серверу неверные значения (proxy_set_header Host )
Получается так что, клиент делает запрос на yyy.com, прокси nginx передает значение yyy.com серверу xxx.com, тот разумеется не находит такого домина и выдает ошибку.

nginx выступает в качестве некого открытого прокси, но не как мне надо (в виде некого промежуточного сервера, который выдает себя за клиента)

Как исправить не допер еще. Или опять не туда ушел...
Мозги кипят!

[Сергей Усов]

Svav: если бэкенд на tomcat или iis, возможны сложности. Но, судя по логам, у вас просто запрос не уходит

[Svav]

Сергей: Запросы уходят.
2015/06/11 13:40:39 [error] 3856#0: *395887 yyy.com could not be resolved (3: Host not found), client: X.X.X.X, server: _, request: "GET / HTTP/1.0", host: "yyy.com"
yyy.com не найден на сервере xxx.com

Answer 3

[Игорь]

Попробуйте в конфиг добавить resolver:
nginx.org/ru/docs/http/ngx_http_core_module.html#r...

Comments

[Svav]

Он уже есть, и результата не дает.