Color primaries : BT.709
Transfer characteristics : BT.601
Matrix coefficients : BT.601
Вероятно, вам нужно не только выставить in_range, но еще и все характеристики и коэффициенты.
См.: color_range=, color_space=, color_transfer=, color_primaries=
Можете почитать, в частности,
эту статью, с говорящим названием "
Color Hell: Ffmpeg Transcoding and Preserving BT.601"
Кроме того, у вас 4:2:0 превращаются в 4:2:2 - это тоже не добавляет точности цветам.
С какой целью конвертируете?
