Ответ нашел сам...
Оказывается, это... гхм... не чистит следов за собой...
То есть, чтобы попробовать чего то скомпилить с другими папками надо ВРУЧНУЮ, Карл, снести папку config.tests и вычистить файлы config.summary, config.opt, config.log, config.cache. Тогда он ВДРУГ видит, что я пытаюсь чего то новое сделать и видит mysql...
Моей ошибкой было то, что я начал компилить из папки MySQL/ConnectorC++8.0... После чего он не видел моих попыток проверить папку mysql/MYSQLSERVER8.0/include и libs
Все скомпилировалось и подключилось...
Ответ на вопрос: забудьте про коннектор. Удалите папку, вычистите файлы, закомпилируйте из MYSQLSERVER8.0 и будет вам счастя.