Лично мне не доводилось видеть такой литературы, и это понятно - антивирус является важным элементом системы безопасности компа, и поэтому ему нежелательно демонстрировать свои кишки на широкой публике, давая авторам зловредов возможность разобраться в устройстве защиты, чтобы обойти её. По этой причине, по идее, не должно быть опенсорсных антивирусов.
Тем не менее они есть. Гугл находит несколько названий: Clam, GPM Antivirus, Nixory, может, есть и ещё. Раз они открытые, где-то (возможно, на гитхабе?) должен лежать их программный код и описание в виде, доступном для изучения. Годится?