Дано: Сервер Linux, Debian 7. На нем крутятся игровые сервера. В принципе, метод не важен и реализация не важна. Язык, наверное, bash. Либо perl, python.
По поводу чистого API сказать не могу. Если подразумевается API iptables, то подойдет и он.
Главное, в режиме реального времени засечь, что подключение создано через SOCKS4.
Ну для таких целей обычно где-то гуглится список самых известных адресов публичных прокси и те банятся в хвост и гриву.
По-другому никак, сокс полностью прозрачен и не оставляет следов инкапсуляции.