Ivan

Первое, что приходит в голову — сделать блочное кеширование. Каждому продукту отдельный кеш. Собирать через esi.
Далее, можно добавить кеширование в статику за варнишем. Тем же нгниксом, например. Тогда можно актуализировать этот кеш и уже потом удалять из варниша. Избавит от проблемы, когда клиент спрашивает страницу одновременно с краулером.

sub vcl_recv {
  ...
  if (req.url ~ "/wp-admin/.*$") {
        return(pass);
  }
  ...
}

Ну так:
remove req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;
Удаляется пришедший заголовок и выставляется ип нгникса.

У меня схема немного сложнее, нгникс->варниш->нгникс->пхп-фпм и на второй нгникс приходит как надо: ип-клиента, ип-нгникса.
Конфиг нгникса по этим пунктам аналогичен. В конфиге варниша манипуляций с X-Forwarded-For нет (в этом случае срабатывают дефолтные)

Какая версия варниша?

Конфиг варниша можно посмотреть? В стандартном какраз с X-Forwarded-For всяческие манипуляции совершаются, попробуйте их закомментить.