Задачу решил. Вот ответ.
Смотреть тут

В общем, нашлось решение. Ходил вокруг него много раз, но благодаря Александру Таратину, который еще раз о нем сказал и удалось решить проблему.

Проблема крылась в том, что у меня есть отдельный файл, который создает в запросе свои header и httpConfig'и и надо было лишь добавить туда responseType: 'blob'

Вот так

export const getPdfConfig = axios.create({
    ...httpConfig,
    responseType: 'blob',
    headers: {
        ...customHeaders,
        'Content-Type': 'application/pdf',
    },
}).get;

Ну а затем использовать fileSaver.