Аналог proxy_pass nginx на языке golang возможно ли реализовать?

Question

[NubasLol]

Nginx очень круто умеет проксировать запросы а загрузку файлов, но проблема с тем, что бы авторизовать эти запросы и динамически менять urls

Но достаточно написать

location /start {
            proxy_pass http://kinosotik.com/download/malenqkie-chudoviwa?original;
        }

И nginx будет загружать файл с удаленного сайта сразу после перехода по ссылке, поддерживает докачку и т.п

Пробою написать на golang что-то похожее, но выдает 404 оишбку

func main() {
   http.HandleFunc("/", handlerProxy)
   if err := http.ListenAndServe(":4000", nil); err != nil {
       panic(err)
   }
}

func handlerProxy(w http.ResponseWriter, r *http.Request) {
   fmt.Println(r.URL.Host)

   url, _ := url.Parse(fmt.Sprintf("http://kinosotik.com/download/malenqkie-chudoviwa?original"))

    r.Host = url.Host
    r.URL.Scheme = "http"

   proxy := httputil.NewSingleHostReverseProxy(url)
   fmt.Println(r.URL.Host)

   proxy.ServeHTTP(w, r)
}

Comments

[Lynn «Кофеман»]

С авторизацией и заменой урла у nginx обычно тоже нет проблемы, если только не требуется что-то экзотическое

[NubasLol]

Lynn «Кофеман», пробовал через njs сделать, но получился какой-то костыль. Ещё вроде lua есть, но как то я вообще далёк от него.

Суть в том, что нужно проксировать файлы, при этом есть http авторизация, и в url нужно скрыто подставлять id пользователя во внешней системе, который лежит в бд

[Lynn «Кофеман»]

Ну auth_request + auth_request_set при условии что можно научить систему которая заведует проверкой авторизации отвечать по http и отдавать id пользователя в http-заголовке.

Но я не настаиваю =)

[NubasLol]

Lynn «Кофеман», научить то не сложно, другое дело как в nginx обратиться к этой системе. Я делал это через njs, и даже работало.

function content(r) {
    r.subrequest('/proxyfileauth', {
        args: r.variables.args
    })
        .then(reply => reply.responseBody)
        .then(response => {
            var json = JSON.parse(response);

            r.internalRedirect(`/proxyfile?url=${json.url}&auth=${json.auth}`);
        })
        .catch(e => r.return(404))
}

export default {content};

Но на вид дикий костыль

[Lynn «Кофеман»]

NubasLol, если нужен просто внутренний редирект, то бекенд может выдавать заголовок `X-Accel-Redirect`

location /start {
    proxy_pass http://backend/check_auth_and_redirect;
}
location /proxyfile {
   ...
}

При этом check_auth_and_redirect в случае успешной проверки вместо JSON-а должен отправить заголовок X-Accel-Redirect: /proxyfile?url=...&auth=... и nginx сделает внутренний редирект.

https://www.nginx.com/resources/wiki/start/topics/...

[NubasLol]

Lynn «Кофеман», ну в любом случае, данные передаются как get параметры, вот именно это и кажется костылем для меня

вот как было в конфиге nginx самого. Да, это работает, но что-то глаз не радуется)

location = /api/file-download {
           js_content http.content;
        }

        location /proxyfileauth {
                proxy_pass http://127.0.0.1/api/file-download-urls;
        }

        location /proxyfile {
            resolver 8.8.8.8;

            proxy_set_header Authorization $arg_auth;

            proxy_pass $arg_url;
        }

[NubasLol]

Lynn «Кофеман», но твой вариант конечно куда красивее)

Answer 1

[Александр Павлюк]

чтобы без буфера было, нужно вот этот кусок

body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        http.Error(w, "error reading response body", http.StatusInternalServerError)
        return
    }

    // write status code and body from proxy request into the answer
    w.WriteHeader(resp.StatusCode)
    w.Write(body)

заменить на этот:

w.WriteHeader(resp.StatusCode)
_, err := io.Copy(w, body)
if err != nil {
    http.Error(w, "error reading response body", http.StatusInternalServerError)
    return
}

Answer 2

[Dimonchik]

https://stackoverflow.com/questions/49547480/how-t...

Comments

[NubasLol]

там пример кода, когда сначала загружается весь ответ

resp, err := http.Get(urlstr)

я же хочу отдавать клиенту ответ сразу же, как получил первые байты данных. В nginx так и работает

[Александр Павлюк]

NubasLol, чтобы без буфера было, нужно вот этот кусок

body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        http.Error(w, "error reading response body", http.StatusInternalServerError)
        return
    }

    // write status code and body from proxy request into the answer
    w.WriteHeader(resp.StatusCode)
    w.Write(body)

заменить на этот:

w.WriteHeader(resp.StatusCode)
_, err := io.Copy(w, body)
if err != nil {
    http.Error(w, "error reading response body", http.StatusInternalServerError)
    return
}

[Александр Павлюк]

Кстати, в nginx по-умолчанию proxy_request_buffering on;
То есть, как раз схема с буфером, как в приведенном ранее коде.

[NubasLol]

Александр Павлюк, а почему тогда он не ждёт загрузки всего файла, и сразу начинает загрузку?

Может по заголовкам смотрит. Ну и он создаёт буфер в файлах, но очень маленький.

За код спасибо, попробую

[Александр Павлюк]

NubasLol, ой, я перепутал, там же буфер запроса, а не ответа.

[NubasLol]

Александр Павлюк, можете код вынести в ответ) Отмечу решением, все получилось.

Я еще все заголовки запроса добавил в http.Get и в ответ добавил тоже все заголовки ответа сервера. И все работает как надо) Докачка, все дела