Во-первых, о каком дистрибутиве идет речь? Возможно у Вас firewalld вместо iptables, вот и не получается работать. Задавая вопросы такого типа нужно показывать, что у Вас во всех таблицах и цепочках:
iptables-save
Во-вторых, это логично, что в OpenVZ-контейнерах что-то не работает, т.к. используются возможности хостового ядра, а нужны Вам модуль туда не подгружен, а Вы на это не имеете прав. Если не нравится, то нужно переходить или к другому хостеру, или на KVM.
Просто проверяйте в следующих раз так:
lsmod |grep nf_conntrack
В-третьих, судя по приведенной ссылке на форум хостера, у Вас ничего не получится - такая политика.
Поэтому придется фильтровать по принципу "разрешено все, что не запрещено":
iptables -A INPUT -p tcp -m tcp -s X.X.X.X --dport 3306 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 3306 -j DROP
Понять, что блокировать можно так:
netstat -lntpu
либо nmap с другого хоста.
Ставьте в правилах только блокировки на конкретные сервисы и не переживайте за остальное.