Обычно со скоростью и потреблением памяти заморачиваютсяя имею ввиду загруженность устройства клиента.
Самое простое - nuxt (или next) + express.
Не вижу у svelte каких-то особенных киллер-фич.
С Nest быстро не получится, оно не для первого проекта. С таким же успехом можно выбрать .NET или Spring.