В общем, проблема решилась.
Дело было в том что debug версия не может получать реальную рекламу. Чтобы протестировать правильность имплементации AdMob существуют тестовые id рекламных блоков и тестовый id приложения.
Их можно найти в соответствующих example-проектах:
https://github.com/googleads/googleads-mobile-andr...
Чтобы получать настоящую рекламу, видимо, нужно создать signed apk.
UPD
Не уверен в том что дело было только в release/debug. Скорее всего решающий вклад внёс ассистент по добавлению рекламы в приложение.
В студии идём
Tools/Firebase/, крутим в самый низ списка ассистента, находим
Admob, нажимаем, вкладка раскрывается, нажимаем
Add a banner ad to your app, у вас откроется пошаговая инструкция по добавлению баннера. Это всё замечательно, но если у вас в коде уже всё прописано и приложение admob готово, то достаточно выполнить первый пункт инструкции:
Connect your app to Firebase. Тыкаем по кнопке, логинимся, и когда у вас появится галка с надписью
Connected, то можно запускать приложение. Теперь уж всё точно должно работать.