Берете IDA, берете отладчик. Открываете в Иде файл, долго вкуриваете, ищете подозрительные места, проверяете в отладчике свои догадки. Для автоматизации очень долго вкуриваете что такое IDA, что такое Assembler под целевой камень, как все это работает, потом пишете скрипт на Питоне для Иды, который будет искать подозрительные места.