все ссылки на DLL становятся абсолютными
То есть проект скомпилировался, запускается, но если его вместе с DLL перенести в другую папку, то перестает?
Нужно смотреть настройки проекта, зависимости, если непонятно в Visual Studio то можно вручную открывать файлы проекта Блокнотом, искать проблему и редактировать.
Плюс она сама качает dll и кладет их в папку packages.
Из NuGet качает? Следует убрать зависимости NuGet и заменить просто ссылками на библиотеки, это может решить и основную проблему, лучше избегать таких "динамических" зависимостей, особенно если в них не задана конкретная версия библиотеки, это не надежно.