По фразе FreeBSD Rootkits можно зачетную книжку в PDF найти — точное название и автора не помню. Несмотря на название, она именно о том, что вам нужно. Еще в магазинах много книг про руткиты для Windows.
Вот эта к примеру совсем ничего. В общем, советую писать драйверы.