Как настроить nginx для docker registry?

Question

[vstas]

Настраиваю приватный сервер для хранения образов docker-а.
В качестве ОС использую Ubuntu 18.04.

Столкнулся с проблемой во взаимодействии между собой контейнера nginx и контейнера registry.

Очень медленная скорость работы при выполнении push образа. Выглядит проблема вот так.

$ docker push 192.168.3.131:6080/my-ubuntu

The push refers to a repository [192.168.3.131:6080/my-ubuntu]
2de391e51d73: Retrying in 14 seconds
d73dd9e65295: Retrying in 14 seconds
686245e78935: Retrying in 14 seconds
d7ff1dc646ba: Retrying in 14 seconds
644879075e24: Retrying in 14 seconds

Процесс идет, но очень медленно. Отправит 100 Кб и ждет секунд 15. И потом снова так.

Вот такой у меня docker-compose.yml для запуска

version: '3'

services:
  registry:
    container_name: registry
    restart: always
    image: registry:2
    volumes:
      - /srv/docker-registry/data:/var/lib/registry

  nginx:
    container_name: nginx
    image: nginx
    restart: always
    links:
       - registry
    volumes:
       - "./nginx.conf:/etc/nginx/conf.d"
    ports:
       - "80:80"

networks:
  default:
    external:
      name: nginx-proxy

И вот такой nginx конфиг

map $upstream_http_docker_distribution_api_version $docker_distribution_api_version {
    '' 'registry/2.0';
}

upstream docker-registry {
   server registry:5000;
}

server {
    listen       80;
    server_name  "";

    proxy_send_timeout 120;
    proxy_buffering    off;
    tcp_nodelay        on;

    access_log off;

    # disable any limits to avoid HTTP 413 for large image uploads
    client_max_body_size 0;

    # required to avoid HTTP 411: see Issue #1486 (https://github.com/moby/moby/issues/1486)
    chunked_transfer_encoding on;

    location /v2/ {
        # Do not allow connections from docker 1.5 and earlier
        # docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
        if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*$" ) {
            return 404;
        }

        # To add basic authentication to v2 use auth_basic setting.
        auth_basic "Registry realm";
        auth_basic_user_file /etc/nginx/conf.d/nginx.htpasswd;

        ## If $docker_distribution_api_version is empty, the header is not added.
        ## See the map directive above where this variable is defined.
        # add_header 'Docker-Distribution-Api-Version' $docker_distribution_api_version always;

        proxy_pass                          http://docker-registry;
        proxy_set_header  Host              $http_host;   # required for docker client's sake
        proxy_set_header  X-Real-IP         $remote_addr; # pass on real client's IP
        proxy_set_header  X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto  $scheme;
        proxy_set_header X-Forwarded-Host   $host:$server_port;
        proxy_set_header X-Original-URI     $request_uri;
        proxy_set_header Docker-Distribution-Api-Version registry/2.0;
        proxy_read_timeout                  900;
    }
}

Если открыть порт из контейнера registry, то push хорошо работает.
Я предполагаю что проблема в моих настройках в nginx, но может и не так.
Что только уже не попробовал.

Для того чтобы глубже посмотреть поднял проект.
https://bitbucket.org/mrvstas/registry-docker

Может кто сталкивался с подобным? Что посмотреть?

Answer 1

[Роман Дубинин]

С подобным не сталкивался, делал всё по инструкции и всё хорошо работает.
Два примечания:

1. Там nginx запускают, как сервис рядом с registry, у меня же на сервере уже стоит nginx и крутятся сайты, так что я запустил один registry, а конфиг для nginx скопировал на хост (естественно с небольшими правками)
   
2. Файл авторизации nginx.htpasswd указанным способом мне создать не удалось, но, так как на хосте уже был openssl, воспользовался такой командой для создания хеша: openssl passwd -crypt
   

Answer 2

[GentleFly]

Столкнулся с похожей проблемой. При docker push, образа с слоем больше 10GB, push не проходил. После нескольких попыток возвращал ошибку о том что соединение закрыто пиром ... Были и другие проблемы. Удалось побороть отключением кэширования и буферизации:

proxy_buffering off;                        # disable buffering of responses from the proxied server
proxy_request_buffering off;                # disable buffering of responses from client
proxy_ignore_headers "X-Accel-Buffering";   # disable buffering of a response

proxy_no_cache 1;                           # conditions under which the response will not be saved to a cache
proxy_cache_bypass 1;                       # conditions under which the response will not be taken from a cache
proxy_cache off;                            # disable caching

Это в дополнение к тому что в документации Distribution Registry / Authenticate proxy with ng..., и очень похоже на ваш.

Так же значительно увеличил несколько значений "timeout", не уверен что имело какой то эффект:

proxy_read_timeout 3600s;
client_header_timeout 3600s;
client_body_timeout 3600s;
proxy_connect_timeout 75s;
proxy_send_timeout 3600s;