Можно и по маку конечно, примерно так:
iptables -A INPUT -m mac --mac-source 00:0С: АA:99:44:28 -j DROP
только задолбаетесь.
Я бы на Вашем месте, сделал привязку ip к маку, как подсказали выше, в DHCP, и прозрачное проксирование на squid, и на нем бы уже разрулил через acl.
для того, чтоб затруднительно было юзерам назначать себе ip вручную и обходить запреты, на шлюзе сделать привязку ip в макам в arp таблице, свободным ip запретить доступ на iptablesю
