Для справки я использую unity 2020.1.3f1 HDRP. И кажется получилось решить проблему. Решение выглядит следующим образом. Оно нормально работает с активным PBR мастером, но при unlit мастере все ещё чрезмерное свечение, если смотреть через материал на небо.