Вы только начали изучать Node.JS и практически ноль в нем. В данном случае лучше сразу разобраться с основами и только затем браться за изучение фреймворков.
Когда нужно сделать что-то очень простое и очень быстрое. Например у вас 2-3 функции, которые просто работают с базой. Например счетчик визитов на сайте.
Когда фреймворк не вписывается в архитектуру вашего приложения. Например у вас повсюду веб-сокеты и к ним сбоку пытаются прилепить еще и фреймворк.
Когда приложение написано для стриминга данных, например мультиплексор какой-нибудь. Тут обычные фреймворки курят в сторонке.
Смотря для чего вам этот сервер. Статику отдавать и обычный http-server может.
Да и статику можно руками написать. Для REST API тот же restify на 100% отрабатывает.
Когда у Вас хайлоад express/koa выльются затратами вида "нам нужно еще +5 машин", но железо нынче дешевое, пишите на express, и Вам проще и я буду продолжать по 200-300 тыс зарабатывать