Для начала, не использовать CBR битрейт, в динамичный сценах или где много мелких объектов, и где много движения не хватит битрейта, будет каша, лучше использовать CRF (Постоянный фактор качество) насыпать битрейта будет в зависимости от сцены, используй значение 16 - 23 (0 без потерь). AV1 - это кодировка на процессоре, эффективней использовать х264 в соотношении качество/производительность.
Т.к у меня такой же ЦП, могу дать настройки х264, картинка у меня с неотличимым качеством, но учтите я использую 444 хрому, запись в 2К 60ФПС с приоритетом на быстрые движения CRF всё компенсирует по битрейту
Управление битрейтом - CRF
CRF - 16
Интервал ключевых кадров: 0
Предустановка ЦП: ultrafast
Профиль - High
Настройка - fastdecode (на качество кодирование не влияет)
Настройки х264: level=6.2 cabac=1 deblock=-1:2 bframes=4 b_adapt=2 psy=0 me_range=20 rc_lookahead=2 fast-pskip=0 trellis=1 aq_mode=3 me=umh subme=4 mixed_ref=1 open_gop=1
Самые важные параметры которые влияют на качество
cabac=1 лично у меня при его отключении началась конитель с кодированием, и были артефакты, ЛУЧШЕ не трогать
deblock=-1:2 сила подавление блочности, из-за чего собственно картинка ссыплется из-за недостатка битрейта, подавляет артефакты битрейта (ВАЖНО у меня выставлено с упором на тёмные места и где цвета переходят (бендинг), чтобы скрыть блочность, можете не трогать crf компенсирует
bframes=4 и b_adapt=2 используется для предсказание кадров и оптимизации этих кадров, b_adapt использует RDO (Rate-Distortion Optimization) в каждом b-кадре использует глубокий анализ для наиболее эффективного сжатия, много кушает, но можно поменять значение b_adapt на 1 для лучшей производительности.
Настройки me, subme, me_range - взаимосвязаны и сильно влияют на качество и производительность, и так: me - алгоритм оценки движения, рекомендую использовать алгоритм umh.
subme - субпиксельный алгоритм поиска векторов движения. Сильно влияет на качество, в зависимости от движения в кадре, рекомендую значение 4 - 6, для сохранения как качества, так и производительности.
me_range - радиус поиска движения векторов, по умол. 16, использую 20, чем выше, тем больше радиус поиска и влиянию на производительность, можно не трогать и оставить по умолчанию.
trellis - алгоритм улучшения сжатия в методах квантования, базирующихся на дискретно-косинусном преобразовании (короче, рассматривает несколько возможных вариантов округления коэффициентом для кадра, с учётом RDO, предсказаний для лучшего баланса качество) выше 1 лучше не ставить (сильно влияет на качество, при значение 2, на производительность)
aq_mode - режим адаптивного квантования, в кратце перераспределяет биты внутри каждого отдельного кадра для каждого макроблока
значение: 0 - отключено, получает необходимое необходимое кол-во бит в зависимости от типа кадра (I, P, B)
1 - перераспределяет биты на основе локальной яркости кадра
2 - постоянное качество по всему видео
3 - улучшенный второй вариант, с упором на тёмные участки (который я использую, и мне необходим)
mixed_ref=1 - Позволяет макроблоками разбиваться на субблоки, и использовать разные референсные кадры (сильно улучшает качество для динамичный сцен/много объектов, движения)