Ошибка не при посылке AJAX-запроса, а при обработке ответа от сервера.
Как видно, исходя из ошибки, то ответ от сервера обрабатывается в коллбеке success jQuery, при этом парсится как JSON, что в корне неверно, ибо передаваемые данные не являются валидным JSON, т.к. передается xlsx файл.
Как получить файл методом AJAX обсуждалось тут:
Как скачать файл с помощью AJAX? 