Ну начните изучение [хирургии] хотя бы с этого:
https://ru.wikipedia.org/wiki/Статический_анализ_кода
https://ru.wikipedia.org/wiki/Динамический_анализ_кода
Отсюда до поиска малвари - ещё как до Луны пешком, но, как гласит китайская мудрость,
даже путь в тысячу ли начинается с первого шага
Создадите IT-компанию с сотней мидлов и десятком сеньоров, и они за несколько лет напишут вам вашу "прогу для анализа исходного кода".