Насколько я вас понял - вас интересует разбор именно программ. Эта сфера называется Reverse Engineering.
Посмотрите книгу Justin Seitz. Gray Hat Python. Python Programming for Hackers And Reverse Engineers - 2012 года.
А так же Денис Юричев Введение в reverse engineering для начинающих