Никак, вы хотите использовать классы EF, не подключая EF, так сделать не получится, C# строго типизированный язык и должен всегда однозначно понимать с чем работает. Если хочется изолировать придется делать промежуточный класс, который будет знать и библиотека и приложение, в котором нет зависимости от EF, то есть через него передавать сырые данные. Такой подход в любом случае страшный костыль, который полностью стирает все плюсы EF ради которых его создавали. Не нужно костылей, просто подключите зависимости к приложению.