Проблема была в том, что чтение файла не осуществлялось. Потому, что путь считается относительным.
В доке спринга при загрузке ресурсов сказано, чтобы использовать абсолютный путь надо использовать префикс "file". В resource bundle (ReloadableResourceBundleMessageSource) при этом файл читается как относительный текущей jar.