Nginx, как в логах видеть реальный ip?

Question

[Евгений]

Добрый день.
Подскажите где ошибся при настройке nginx
конфиг nginx:

server {
    if ($host = graf.rmiac18.ru) {
        return 301 https://$host$request_uri;
    }


    listen 80;
    server_name graf.rmiac18.ru;
    access_log /var/log/nginx/grafana-access.log;
    error_log /var/log/nginx/grafana-error.log;
    set_real_ip_from 78.85.54.198;
    real_ip_header X-Real-IP;
    return 301 https://$server_name$request_uri;


}

server {
    listen 8443 ssl http2;
    server_name graf.rmiac18.ru;
    access_log /var/log/nginx/grafana-ssl-access.log;
    error_log /var/log/nginx/grafana-ssl-error.log;
    set_real_ip_from 78.85.54.198;
    real_ip_header X-Real-IP;

    ssl on;
    ssl_certificate /etc/letsencrypt/live/graf.rmiac18.ru/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/graf.rmiac18.ru/privkey.pem; # managed by Certbot
    ssl_session_timeout 5m;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    location /.well-known/acme-challenge/ {
        root /var/www/html/;
    }
    location / {
        proxy_pass http://192.168.139.56:3000;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_connect_timeout       600;
        proxy_send_timeout          600;
        proxy_read_timeout          600;
        send_timeout                600;
    }
}

в логах:

127.0.0.1 - - [07/May/2024:00:00:30 +0400] "GET /api/live/ws HTTP/1.1" 400 12 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
127.0.0.1 - - [07/May/2024:00:00:32 +0400] "GET /api/live/ws HTTP/1.1" 400 12 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
127.0.0.1 - - [07/May/2024:00:00:40 +0400] "GET /api/live/ws HTTP/1.1" 400 12 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.5993.784 YaBrowser/23.11.1.784 (corp) Yowser/2.5 Safari/537.36"
127.0.0.1 - - [07/May/2024:00:00:40 +0400] "GET /api/live/ws HTTP/1.1" 400 12 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
127.0.0.1 - - [07/May/2024:00:00:44 +0400] "GET /api/live/ws HTTP/1.1" 400 12 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.5993.784 YaBrowser/23.11.1.784 (corp) Yowser/2.5 Safari/537.36"

как в логах видеть реальный ip пользователей?

Comments

[Lynn «Кофеман»]

Найдите для начала кто слушает порт 443 и покажите конфиг.

Чей лог вы привели?

[Евгений]

я сейчас вообще все уронил

root@nginx:~# nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

nginx -s reload работает
но если сделаю systemctl restart nginx то получаю ошибку:

root@nginx:~# systemctl status nginx
● nginx.service - A high performance web server and a reverse proxy server
   Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled)
   Active: failed (Result: exit-code) since Mon 2024-05-20 13:16:56 +04; 2s ago
     Docs: man:nginx(8)
  Process: 1875 ExecStartPre=/usr/sbin/nginx -t -q -g daemon on; master_process on; (code=exited, status=0/SUCCESS)
  Process: 1876 ExecStart=/usr/sbin/nginx -g daemon on; master_process on; (code=exited, status=1/FAILURE)

May 20 13:16:53 nginx systemd[1]: Starting A high performance web server and a reverse proxy server...
May 20 13:16:53 nginx nginx[1876]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 13:16:54 nginx nginx[1876]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 13:16:54 nginx nginx[1876]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 13:16:55 nginx nginx[1876]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 13:16:55 nginx nginx[1876]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 13:16:56 nginx nginx[1876]: nginx: [emerg] still could not bind()
May 20 13:16:56 nginx systemd[1]: nginx.service: Control process exited, code=exited, status=1/FAILURE
May 20 13:16:56 nginx systemd[1]: nginx.service: Failed with result 'exit-code'.
May 20 13:16:56 nginx systemd[1]: Failed to start A high performance web server and a reverse proxy server.

если удалю все конфигурации сайтов то nginx запускается

[Lynn «Кофеман»]

ну собственно, как и ожидалось порт 443 слушает кто-то другой.

З.Ы. Апдейты надо писать в вопросе, а не в ответах.

[Евгений]

Lynn «Кофеман»,
разве не nginx?

root@nginx:~# netstat -pan | grep ":443"
tcp        0      0 0.0.0.0:443             0.0.0.0:*               LISTEN      660/nginx: master p
tcp        0      0 192.168.139.2:443       213.33.142.52:64363     SYN_RECV    -
tcp        0      0 192.168.139.2:45350     192.168.67.250:443      ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:443       192.168.67.250:47332    ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:443       192.168.67.230:48006    ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:45394     192.168.67.250:443      ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:443       192.168.67.250:52248    ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:45420     192.168.67.250:443      ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:443       192.168.67.250:48056    ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:443       192.168.67.250:54784    ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:60346     192.168.67.250:443      ESTABLISHED 661/nginx: worker p
tcp        0      0 192.168.139.2:45432     192.168.67.250:443      ESTABLISHED 661/nginx: worker p

[Lynn «Кофеман»]

Евгений, похоже у вас какой-то «призрачный» nginx запущен.

0      0 0.0.0.0:443             0.0.0.0:*               LISTEN      660/nginx: master p

[Евгений]

Lynn «Кофеман», а что не так?

[Евгений]

Lynn «Кофеман», я не сразу понял.
восстановился из бекапа, сейчас nginx работает.
было так:

root@nginx:~# systemctl restart nginx
Job for nginx.service failed because the control process exited with error code.
See "systemctl status nginx.service" and "journalctl -xe" for details.
root@nginx:~# systemctl status nginx.service
● nginx.service - A high performance web server and a reverse proxy server
   Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled)
   Active: failed (Result: exit-code) since Mon 2024-05-20 14:45:47 +04; 4s ago
     Docs: man:nginx(8)
  Process: 746 ExecStartPre=/usr/sbin/nginx -t -q -g daemon on; master_process on; (code=exited, status=0/SUCCESS)
  Process: 747 ExecStart=/usr/sbin/nginx -g daemon on; master_process on; (code=exited, status=1/FAILURE)

May 20 14:45:45 nginx systemd[1]: Starting A high performance web server and a reverse proxy server...
May 20 14:45:45 nginx nginx[747]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 14:45:45 nginx nginx[747]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 14:45:46 nginx nginx[747]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 14:45:46 nginx nginx[747]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 14:45:47 nginx nginx[747]: nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)
May 20 14:45:47 nginx nginx[747]: nginx: [emerg] still could not bind()
May 20 14:45:47 nginx systemd[1]: nginx.service: Control process exited, code=exited, status=1/FAILURE
May 20 14:45:47 nginx systemd[1]: nginx.service: Failed with result 'exit-code'.
May 20 14:45:47 nginx systemd[1]: Failed to start A high performance web server and a reverse proxy server.
root@nginx:~# netstat -pan | grep ":443"
root@nginx:~#

[AUser0]

Евгений, скорее всего повисший зомби-процесс NGINX-а держал 443 порт, поэтому новый процесс не мог на него прицепиться. Ещё NGINX славится медленным убиванием своих детей, потому что они должны дождаться корректного завершения обслуживаемых коннектов. Проще сделать killall nginx.

[AUser0]

Евгений, и ещё момент, netstat -pan покажет активные коннекты, а netstat -pln покажет какие процессы на каких портах сидят/отвечают. Хммм, но это не точно. ;-D

Answer 1

[AUser0]

Во-первых, вы не показали секцию 'listen 443'.

Во-вторых, на самом сервере - $remote_addr.
А на внутреннем сервере - используйте или заголовок X-Forwarded-For или заголовок X-Real-IP.

Comments

[Евгений]

Во-первых, вы не показали секцию 'listen 443'.

это весь конфиг.

Во-вторых, на самом сервере - $remote_addr.
А на внутреннем сервере - используйте или заголовок X-Forwarded-For или заголовок X-Real-IP.

не совсем понимаю, можно поподробнее?

[AUser0]

Евгений,

это весь конфиг.

Это явно не весь конфиг. Если бы это был весь конфиг, https://domainname/ у вас бы не работал, вообще.

не совсем понимаю, можно поподробнее?

Можно. На сервере с IP-адресом 192.168.139.56 в качестве источника IP-адреса клиента используйте HTTP-заголовок X-Forwarded-For или X-Real-IP.

[Евгений]

Это явно не весь конфиг. Если бы это был весь конфиг, https://domainname/ у вас бы не работал, вообще.

как то работает, не знаю что даже сказать на это, могу поменять эту часть на:
listen 443 http2 ssl;
ничего не поменялось.

Можно. На сервере с IP-адресом 192.168.139.56 в качестве источника IP-адреса клиента используйте HTTP-заголовок X-Forwarded-For или X-Real-IP.

на сервере установлена grafana, в кофнигах не нашел этот параметр.
как связан конфиг на сервере 192.168.139.56 с тем что nginx не показывает реальный ip пользователей из интернета?
nginx на другом сервере с ip 192.168.139.2.

[rPman]

Евгений, у вас скорее всего есть еще один сервер (приложение), который слушает https и проксирует запросы, отправляя их на http, конфиг которого предоставлен
из-за этого в логах показаны исходящий адрес как локалхост

[AUser0]

Евгений, тогда делайте так: под UNIX-like команда netstat -nltp, под Windows команда netstat -o, ищите строки с :443 - в ней будет виден PID (а в случае Linux - ещё и имя программы) процесса, который отвечает за HTTPS на вашем сервере. В Windows по этому PID в выводе tasklist можно и саму отвечающую программу найти.

Вот так и узнаете, в какой программе надо смотреть настройки вывода в лог-файл настоящего IP-адреса обращающегося клиента.

[AUser0]

Евгений, только вот...

как то работает, не знаю что даже сказать на это, могу поменять эту часть на:
listen 443 http2 ssl;
ничего не поменялось.

"Ничего не поменялось" могло бы быть только в одном случае - если за 443 порт отвечает всё тот-же NGINX. Если бы за 443 порт отвечала другая программа - был бы конфликт работы с одним портом двух разных программ.

Поэтому что бы узнать НАСТОЯЩУЮ конфигурацию NGINX, с которой работает ваш сервер, запускайте команду nginx -T, она выведет на экран целиком всё-всё-всё сконфигурированное в NGINX-е...

[dodo512]

"Ничего не поменялось" могло бы быть только в одном случае

AUser0, ещё такое могло быть если в конфиге поменял listen 443 http2 ssl;, но не сделал reload или restart nginx. Так что сервер продолжал работать со старым конфигом.

[Евгений]

AUser0,
вывод nginx -T
из за ограничений не влазит, ссылка:
https://disk.yandex.ru/d/RFGhWXRffjVQXw
на сервере только nginx

[dodo512]

http {
    server {
        listen 8443 ssl http2;

# configuration file /etc/nginx/modules-enabled/dev.rmiac18.conf:
stream {
    server {
        listen      443;

Ну вот и нашлось listen 443; только в контексте stream, а не http.
Пока не ясно зачем тут ngx_stream_proxy_module и ngx_http_proxy_module одновременно.

[AUser0]

Евгений, ах stream... Ну тогда всё понятно. В такой конфигурации вы реальный IP не сможете показать, это весь трафик на 443 порт заворачивается в неизменном виде на указанный адрес:порт. Ну, кроме IP-адреса отправителя, он превентивно заменяется на localhost. И в логах вы ничего не увидите, ни в NGINX, ни в программе, куда трафик уходит.

Пробуйте переделать на proxy_pass, но видимо всё сломается. Не зря же такой финт ушами сконфигурирован...

[dodo512]

Передать реальный IP можно используя специальный протокол PROXY.

stream {
    server {
        listen      443;
        proxy_protocol on;

И на принимающей стороне в каждый listen 8443 ssl http2 добавить proxy_protocol.
listen 8443 ssl http2 proxy_protocol

Ну и не забыть настроить ngx_http_realip_module.

set_real_ip_from 127.0.0.1;

real_ip_header  proxy_protocol;

Не ясно что там слушает на 192.168.67.250:443 и 10.10.10.249:443 и есть ли там возможность использовать proxy_protocol.

[Евгений]

AUser0, dodo512,

почему то когда удаляю /etc/nginx/modules-enabled/dev.rmiac18.conf , все пробросы перестают работать,
так то это старая не нужная фигня непонятно кем сделанная которую желательно бы удалить

[AUser0]

Евгений, потому что это и есть тот самый проброс трафика (прилетающего на порт 443) на нужный сервер. И видимо без этого проброса всё перестанет работать.

Нет, вы конечно можете сделать

server {
    listen 443 ssl http2;
    server_name graf.rmiac18.ru dev.rmiac18.ru *.dev.rmiac18.ru;
    access_log /var/log/nginx/rmiac18-ssl-access.log;
    error_log /var/log/nginx/rmiac18-ssl-error.log;
    set_real_ip_from 78.85.54.198;
    real_ip_header X-Real-IP;

    ssl on;
    ssl_certificate /etc/letsencrypt/live/graf.rmiac18.ru/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/graf.rmiac18.ru/privkey.pem; # managed by Certbot
    ssl_session_timeout 5m;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    location /.well-known/acme-challenge/ {
        root /var/www/html/;
    }
    location / {
        proxy_pass https://192.168.67.250/;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Real-IP $remote_addr;
    }
}
server {
    listen 443 ssl http2;
    server_name udmed.ru *.udmed.ru;
    access_log /var/log/nginx/mail-ssl-access.log;
    error_log /var/log/nginx/mail-ssl-error.log;
    set_real_ip_from 78.85.54.198;
    real_ip_header X-Real-IP;

    ssl on;
    ssl_certificate /etc/letsencrypt/live/graf.rmiac18.ru/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/graf.rmiac18.ru/privkey.pem; # managed by Certbot
    ssl_session_timeout 5m;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    location /.well-known/acme-challenge/ {
        root /var/www/html/;
    }
    location / {
        proxy_pass https://10.10.10.249/;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

убрав dev.rmiac18.conf...
Только сертификаты замените на правильные.
И с большой долей вероятности - что-нибудь сломается!

[AUser0]

Евгений, ааааа, так у вас и остальные сайты так же на 8443 порту сидят, а этот проброс трафика в них трафик-то и льёт... Соответственно остальные сайты сломаются, однозначно. Ууууууу, и кто-ж так хитрожопо сделал-то?!

[Евгений]

AUser0, вот не знаю кто такую подлость сотворил, сейчас удалил конфиг из /etc/nginx/modules-enabled/dev.rmiac18.conf
так же строчку в конфигах с listen 8443 ssl http2; поменял на listen 443 ssl http2;
пока вроде работает.
так же стало отображаться в логах реальный ip а не 127.0.0.1

[AUser0]

Евгений, ну или такой вариант, да. Только не забудьте добавить вот эти два server { listen 443 .... }, без них перечисленных server_name просто не будет.

Answer 2

[Сергей Томулевич]

https://nginx.org/ru/docs/http/ngx_http_realip_mod...