Raey

Вроде разобрался. Нужно было задать корректные типы в вызове applyMiddleware (у меня это вообще не было сделано).
Вот пример:

const store = createStore(
  rootReducer,
  composeWithDevTools(
    applyMiddleware(
      thunk.withExtraArgument(api) as ThunkMiddleware<
        GlobalState,
        AllReduxActions,
        AxiosInstance
      >,
    ),
  ),
);

А вот где посмотрел: https://github.com/reduxjs/redux-thunk/blob/master...
Надеюсь, будет кому-нибудь полезно.