Подобрать можно. Берете какой-то алгоритм, какой-то ключ, и пытаетесь расшифровать. Если не получилось, то что-то из выбранного не подходит.
А вообще я не думаю, что разработчики шифра поставили для вас учебную задачу. Скорее всего, в их задачу входило, чтобы у вас не получилось прочитать.
Так что чуть ли не единственный способ - декомпилировать код приложения, и разобраться, какой там алгоритм использовался. Ну или можно нагуглить, может это уже кто-то проделал для ЭТОГО приложения и отчитался на каком-нибудь форуме.