Уязвимости с помощью СИ в системах не ищут, ее использую, как средство доставки зловреда. Уязвимости ищут через тестирование и анализ, как результатов, так и исходных документов (текстов программ, описаний, стандартов и т.д.). Книга Эриксона, которую рекомендовали выше, конечно хороша, но очень сильно устарела, сменились системы, железо и куча всего, вектора атак поменялись и она сейчас практически бесполезна (за исключением, если вы вообще не знакомы с "азами").