Нельзя изменить поведение фулскрина.
Но вы можете использовать какой-нибудь плагин для браузера, который умеет работать с ютуб видео и изменяет размеры плеера, например
Флэш легко связывается с яваскриптом посредством ExternalInterface и наоборот. По этому достаточно отследить нажатие нужной комбинации на яваскрипте, потом передать это событие во флэш.
