Youtube заблокировал принудительное переключение качества в начале 2018. В документации написано, что "Вызов функции не гарантирует изменения качества воспроизведения."
Они используют clappr. Если под плейлистом подразумеваются картинки слева, то они не имеют к плееру никакого отношения. Просто через JS API отправляется ссылка на воспроизведение, у любого популярного плеера есть такая возможность.
Скорее всего проблема в том, что фулскрин (requestFullScreen) в стандартном плеере срабатывает только для объекта video. Для посторонних элементов начинаются ограничения. Если вам нужна своя графика, то придется все кнопки рисовать, либо собирать в конструкторе.
