У вас, вероятно, не установлен драйвер ODBC и не настроен.
Сам драйвер можно скачать
на сайте mysql.com.
После установки заходите сюда: Панель управления -> Администрирование -> Источники данных (ODBC).
Во вкладке "Пользовательский DSN" добавляете новый источник, выбираете установленный драйвер и заполняете нужные поля. Скрин (на скрине подключение к другой базе, но суть та же):
Нажимаете кнопку "Test" и тестируете наличие соединения. Если тест пройдет успешно, то идите в Excel и наслаждайтесь прямым подключением :)