Так?
iptables -A INPUT -m string --string "youtube.com" --algo kmp --to 65535 -p tcp --dport 80 -j DROP
iptables -A OUTPUT -m string --string "youtube.com" --algo kmp --to 65535 -p tcp --dport 80 -j DROP
И для https
iptables -A INPUT -m string --string "youtube.com" --algo kmp --to 65535 -p tcp --dport 443 -j DROP
iptables -A OUTPUT -m string --string "youtube.com" --algo kmp --to 65535 -p tcp --dport 443 -j DROP
UPD: Проверил, всегда на https ходит, достаточно последних двух правил :)
