Как сделать в главном конфиге сервера MySQL относительные пути?
Никак. Относительный путь требует наличия и, главное, детерминированности базового пути, от которого будет выполнен относительный отсчёт. А вот этой детерминированности гарантировать, увы, невозможно.
Хотелось бы примерно такое (добавить переменную %BASEDIR%)
Ну сделайте отдельный маленький конфигурационный файл с развёрнутыми путями, подключаемый инструкцией
!include, и скриптик, который переформирует этот файл по введённой базовой директории.