X-Forwarded-For содержит цепочку адресов, которые были переданы клиентом, каждый последующий прокси в цепочке (если он так сконфигурирован) добавляет туда адрес, с которого был совершён запрос. Соответственно, доверия к этим адресам быть никакого не может, клиент может что угодно туда вписать.
X-Real-IP - это тот IP-адрес, с которого был произведён запрос к nginx. Доверие к нему возможно в том случае, если бэкенд невозможно запросить, минуя ваш nginx (в противном случае - туда тоже можно передать всё что угодно).