Чем больше знаю, тем лучше понимаю, как мало знаю.
Помоему так.
location /proxy {
proxy_pass $arg_query_url;
}
P.S. Можно ещё проверок всяких накрутить, есть в query_url указание http:// или нет... Хотя, NGINX должен с этим сам справиться, есть же у его какие-то умолчания.