В общем, нашлось решение. Ходил вокруг него много раз, но благодаря Александру Таратину, который еще раз о нем сказал и удалось решить проблему.
Проблема крылась в том, что у меня есть отдельный файл, который создает в запросе свои header и httpConfig'и и надо было лишь добавить туда responseType: 'blob'
Вот так
export const getPdfConfig = axios.create({
...httpConfig,
responseType: 'blob',
headers: {
...customHeaders,
'Content-Type': 'application/pdf',
},
}).get;
Ну а затем использовать fileSaver.