Возможно, ты путаешь анализ файла и анализ процесса.
DLL и EXE имеют одинаковый формат (PE executable), поэтому на уровне анализа файла DLL практически ничем не отличается от анализа EXE. Ищутся известные сигнатуры - хеши, последовательности байт или поведенческие, например определенная последовательность или сочетание инструкций или системных вызовов. Декомпиляция нужна только для ручного анализа. Сможет или не сможет антивирус распознать угрозу зависит от того, будет ли нужная сигнатура или эвристика в базах. Для анализа поведения на уровне файла может применяться что-то типа псевдо-выполнения кода, но это не то же самое, что анализ процесса, при котором в реальном времени перехватываются и анализируются системные вызовы, в частности к каким файлам и какое обращение идет.