В общем проблема подкралась откуда не ждал.
При публикации приложения в режиме одного файла, выскакивает ошибка о неподдерживаемом фреймворке, но при обычной сборке и отладки ничего.
Временно решил заменой на pomelo.
Возможно нужно добавить какие то секции в проект?
Кто нибудь сталкивался?
Окружение net core 3.1
Вот пример который повторяет этот баг
https://github.com/vkorotenko/DriverTest