Какая ОС интересует? IPSec входит в стандарт стека TCP/IP, который предоставляется ОС. Соответственно и все API ОС зависимое.
В винде это
WFP API.
В никсах все несколько сложнее - там задействовано как ядро ОС так и стороннее ПО. Больше подробностей можете посмотреть, например
тут и
тут.