Для правильного вопроса надо знать половину ответа
А зачем для монги какая-то программа? Берите исходники ( https://github.com/mongodb/mongo ) и изучайте.
В целом всё зависит от языка, на котором написана программа. Если есть только бинарник (например, скомпилированный C++), то только дизассемблер + отладчик и изучать на уровне машинного кода. Если на уровне виртуальной машины и объектного кода (C#, Java), то ищите декомпилятор. Если доступны исходники, то просто читайте их.
Простой
