Выберите кодировщик NVIDIA NVENC HEVC. Установите CBR в качестве управления битрейтом. Если стримите на ютуб, то битрейт 15-20к (если сеть потянет). Ключевые кадры = авто, пресет Р5, проход - двойной, четверть кадра, профиль high, look ahead и психовизуальый тюнинг выключены. B-фреймы=2.
Напишите от результатах. Если будет дропать, приложите логи obs