Вам нужно исключить зависимость от роутера в вашей либе. Делается это разными способами в зависимости от сборщика. Какой сборщик у вас? Если vite, то в его конфиге нужно правильно настроить параметры build.rollupOptions.external.
По хорошему сам реакт тоже нужно исключить из сборки либы.
PeerDependencies это несколько иное. Этот параметр говорит, что чтобы ваша либо могла быть установлена в другом проекте, в этом проекте должны быть установлены зависимости, перечисленные в peerDeps. И все. Этот параметр никак не влияет на сборку либы.