Поскольку наличие шифротекста практически ничего не сообщает вам о алгоритме шифрования, а уж тем более о ключе, тогда у вас несколько выходов:
1. Криптоанализ. Расшифровать текст, имея на руках шифротекст и, возможно, открытый текст. Крайне трудоемкое и затратное дело. Но есть шанс, что шифровал дилетант (поскольку файл увеличился в 4 раза) и у вас получится найти самописный алгоритм шифрования. Можете спросить на специализированных форумах.
2. Анализ ПО. Вам надо анализировать приложение , которое работает с этим файлом. По его поведению вы найдете алгоритм и, возможно, ключ. Также смотрите на установщик. Также есть вероятность что это сделано с помощью какого-либо известного инструмента, можете туда копать. Сложно, но возможно.
3. Купить компанию, разработчика ПО.
4.
Бандитский криптоанализ (шантаж, вымогательство терморектальный криптоанализ)
Как видите вариантов много.