Если с сетевым стеком вопрсов нет, я бы наверное порекомендовал почитать про устройства ядра ОС (если речь про Linux/BSD). Для Windows, это скорее всего будет реализовано на уровне драйверов (если судить по антивирусам, более подробно про Windows к сожалению не скажу).
Ещё можно почитать исходники или книги про устройство сетевых экранов и книги на тему их работы (iptables, ipfw, pf и т.д.), опять таки, если говорить про *nix. Среди прочего, в них есть режимы, которые позволяют отдавать пакеты сторонним приложениям на анализ.
Ещё можно почитать про устройство Proxy/Socks ну и сети в целом, литературы масса, в т.ч. на русском, но это уже скорее немного за областью изначальной темы вопроса.
Если Вы определитесь, про что именно Вы хотите читать, то порекомендовать что-то конкретное будет гораздо проще. Отдельно книг или даже статей "как передать пакет внешнему приложению на анализ" - Вы вряд ли найдете, т.к. такая книга/статья, будет ограничена несколькими строками (применительно к *nix'ам, за Windows'ы не скажу).