1. Сначала разберитесь в принципах работы компьютера и его архитектуре:
Какую литературу читать для изучения архитектуры компьютера и ОС?
2. Потом изучите основы Си/С++:
www.ozon.ru/context/detail/id/4369459 (без знания этих ЯП некоторые дальнейшие книги бесполезны)
3. Потом неплохо было бы криптографию освоить:
Книги по криптографии
4. Дальше уже решать вам. В том плане, что это зависит от сферы и технологий, используемых в АСВТ.
Например, если захотите разобраться в принципах работы ОС Windows, можно почитать Рихтера (
www.ozon.ru/context/detail/id/116668/). В той же 22-й главе он неплохо подает материал по способам внедрения своего кода в чужие процессы, перехвату API-вызовов. А если знаете, как внедрять, то, соответственно, знаете, как противодействовать