Читаете только в контролере, получив через инъекцию IConfiguration . Дальше передаете нужные параметры настроек в объект, либо при его создании через конструктор, либо передаете параметры через методы этого объекта. Передаете только те параметры, которые непосредственно нужны этому методу.
Конфиг может разрастаться, и передавать его весь в объект ради пары параметров не стоит, объект в этом случае может получить доступ к тем полям, которые его не касаются вообще.