От латинского proximus - "ближайший"
На заре интернета, прокси-серверы стояли на узлах соединения локальной сети (то есть, стояли близко к клиенту) и мировой, сохраняли на себе часто запрашиваемые страницы и отдавали их, не дергая сервер в интернете, снимая нагрузку с магистрального канала.
Реверсный прокси, таким образом, находится близко к серверу (на то он и реверсный)