...
*filter
:INPUT DROP [1885:250005]
:FORWARD DROP [320:19220]
:OUTPUT ACCEPT [200702728:44540320451]
...
Capturing on 'vboxnet0'
1 0.000000000 192.168.56.2 → 192.168.1.1 TCP 58 35957 → 8081 [SYN] Seq=0 Win=1024 Len=0 MSS=1460
2 0.000063539 192.168.56.1 → 192.168.56.2 TCP 58 35957 → 8081 [SYN] Seq=0 Win=1024 Len=0 MSS=1460
3 1.005267881 192.168.56.2 → 192.168.1.1 TCP 58 35958 → 8081 [SYN] Seq=0 Win=1024 Len=0 MSS=1460
4 1.005337151 192.168.56.1 → 192.168.56.2 TCP 58 35958 → 8081 [SYN] Seq=0 Win=1024 Len=0 MSS=1460
# Generated by iptables-save v1.6.0 on Fri Dec 1 20:21:49 2017
*mangle
:PREROUTING ACCEPT [380276039254:83527877050035]
:INPUT ACCEPT [380047229651:83345681698387]
:FORWARD ACCEPT [225066558:180625536728]
:OUTPUT ACCEPT [371879864158:87572932357138]
:POSTROUTING ACCEPT [372104776359:87753556220522]
:in-marking - [0:0]
:out-marking - [0:0]
-A PREROUTING -m connmark ! --mark 0x0/0x3 -j out-marking
-A PREROUTING -m conntrack --ctstate NEW -j in-marking
-A OUTPUT -m connmark ! --mark 0x0/0x3 -j out-marking
-A in-marking -i p4p1 -m mac --mac-source 04:BF:6D:05:2D:76 -j CONNMARK --set-xmark 0x1/0x3
-A in-marking -i p4p1 -m mac --mac-source 64:66:B3:71:98:FA -j CONNMARK --set-xmark 0x2/0x3
-A out-marking -i br0 -j CONNMARK --restore-mark --nfmask 0x3 --ctmask 0x3
-A out-marking -i p9p1 -j CONNMARK --restore-mark --nfmask 0x3 --ctmask 0x3
-A out-marking -o p4p1 -j CONNMARK --restore-mark --nfmask 0x3 --ctmask 0x3
COMMIT
# Completed on Fri Dec 1 20:21:49 2017
# Generated by iptables-save v1.6.0 on Fri Dec 1 20:21:49 2017
*nat
:PREROUTING ACCEPT [1139:197546]
:INPUT ACCEPT [71:4269]
:OUTPUT ACCEPT [1490:97013]
:POSTROUTING ACCEPT [1474:102033]
-A PREROUTING -i br0 -p tcp -m tcp --dport 3390 -j DNAT --to-destination 192.168.56.2:3389
-A PREROUTING -p tcp -m tcp --dport 8081 -j DNAT --to-destination 192.168.56.2:8081
-A POSTROUTING -o p4p1 -j MASQUERADE
-A POSTROUTING -p tcp -m tcp --dport 8081 -j LOG --log-prefix "iptables DEBUG: "
-A POSTROUTING -d 192.168.56.2/32 -p tcp -m tcp --dport 8081 -j MASQUERADE
COMMIT
# Completed on Fri Dec 1 20:21:49 2017
# Generated by iptables-save v1.6.0 on Fri Dec 1 20:21:49 2017
*filter
:INPUT DROP [1885:250005]
:FORWARD DROP [320:19220]
:OUTPUT ACCEPT [200702728:44540320451]
:f2b-sshd - [0:0]
-A INPUT -p tcp -m multiport --dports 22 -j f2b-sshd
-A INPUT -i lo -j ACCEPT
-A INPUT -d 127.0.0.0/8 ! -i lo -j REJECT --reject-with icmp-port-unreachable
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 0 -j ACCEPT
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 3 -j ACCEPT
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 4 -j ACCEPT
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 8 -j ACCEPT
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 11 -j ACCEPT
-A INPUT -p icmp -m state --state NEW -m icmp --icmp-type 12 -j ACCEPT
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -m state --state INVALID -j DROP
-A INPUT -p tcp -m tcp --tcp-flags SYN,ACK SYN,ACK -m state --state NEW -j REJECT --reject-with tcp-reset
-A INPUT -p tcp -m tcp ! --tcp-flags FIN,SYN,RST,ACK SYN -m state --state NEW -j DROP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,ACK,URG FIN,PSH,URG -j DROP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,ACK,URG FIN,SYN,RST,PSH,ACK,URG -j DROP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,ACK,URG FIN,SYN,RST,ACK,URG -j DROP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,ACK,URG NONE -j DROP
-A INPUT -p tcp -m tcp --tcp-flags SYN,RST SYN,RST -j DROP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN FIN,SYN -j DROP
-A INPUT -p udp -m udp --dport 22 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -p udp -m udp --dport 1194 -j ACCEPT
-A INPUT -i br0 -p udp -m udp --dport 123 -j ACCEPT
-A INPUT -i p32p1 -p udp -m udp --dport 123 -j ACCEPT
-A INPUT -i br0 -p udp -m udp --dport 53 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 53 -j ACCEPT
-A INPUT -i p32p1 -p udp -m udp --dport 53 -j ACCEPT
-A INPUT -i p32p1 -p tcp -m tcp --dport 53 -j ACCEPT
-A INPUT -i br0 -p udp -m udp --dport 5353 -j ACCEPT
-A INPUT -i p32p1 -p udp -m udp --dport 5353 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 135 -j ACCEPT
-A INPUT -i br0 -p udp -m udp --dport 137 -j ACCEPT
-A INPUT -i br0 -p udp -m udp --dport 138 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 139 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 445 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 80 -j ACCEPT
-A INPUT -i p4p1 -p tcp -m tcp --dport 25 -j ACCEPT
-A INPUT -i p4p1 -p tcp -m tcp --dport 465 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 1935 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 3306 -j ACCEPT
-A INPUT -s 91.226.81.247/32 -i p4p1 -p tcp -m tcp --dport 3306 -j ACCEPT
-A INPUT -s 5.178.85.214/32 -i p4p1 -p tcp -m tcp --dport 3306 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 8069 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 10051 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 11000 -j ACCEPT
-A INPUT -i p4p1 -p tcp -m multiport --dports 1100,5550,7000 -j ACCEPT
-A INPUT -i br0 -p tcp -m multiport --dports 3389,5551,5552,5553,5554,5556,10050 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 3390 -j ACCEPT
-A INPUT -i vboxnet0 -p tcp -m tcp --dport 3306 -j ACCEPT
-A INPUT -i br0 -p tcp -m tcp --dport 8081 -j ACCEPT
-A FORWARD -m physdev --physdev-is-bridged -j ACCEPT
-A FORWARD -i br0 -o p4p1 -j ACCEPT
-A FORWARD -i br0 -o p32p1 -j ACCEPT
-A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i br0 -o vboxnet0 -p tcp -m multiport --dports 3389 -j ACCEPT
-A FORWARD -i p4p1 -o vboxnet0 -p tcp -m multiport --dports 1100,5550,7000 -j ACCEPT
-A FORWARD -i br0 -o vboxnet0 -p tcp -m multiport --dports 5551,5552,5553,5554,5556 -j ACCEPT
-A FORWARD -i lo -o vboxnet0 -p tcp -m multiport --dports 10049 -j ACCEPT
-A FORWARD -i br0 -o vboxnet0 -p tcp -m multiport --dports 3390 -j ACCEPT
-A FORWARD -i vboxnet0 -p tcp -m tcp --dport 5552 -j LOG --log-prefix "iptables DEBUG: "
-A FORWARD -i vboxnet0 -p tcp -m tcp --dport 5552 -j ACCEPT
-A FORWARD -p tcp -m tcp --dport 8081 -j ACCEPT
-A f2b-sshd -s 87.16.54.50/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.233/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 177.139.195.165/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 179.52.45.208/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 81.234.50.70/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 79.190.26.105/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 185.143.3.50/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 41.42.123.21/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 84.62.1.200/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 209.136.0.101/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 189.28.235.165/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.236/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.245/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.243/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 58.242.83.28/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 123.244.9.80/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 223.111.185.67/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 121.18.238.125/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 121.18.238.119/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 103.207.39.213/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 5.188.10.176/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 212.129.36.206/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 185.190.58.108/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 218.89.37.206/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 195.154.46.183/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.239/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 193.201.224.158/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 123.244.9.74/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 121.18.238.106/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 50.117.86.160/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 210.13.64.18/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 83.222.178.120/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 121.18.238.39/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 123.244.9.75/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 193.201.224.208/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -s 221.194.47.221/32 -j REJECT --reject-with icmp-port-unreachable
-A f2b-sshd -j RETURN
COMMIT
# Completed on Fri Dec 1 20:21:49 2017
1. Вы неверно считаете размер буфера кадра. И хотя в данном случае он вроде бы даже больше чем нужен, все равно такой подход использовать не стоит.
2. И хоть в данном случае и при данной реализации QVideoBuffer это не имеет значения, вы вообще-то пытаетесь писать в память фрейма, потому надо маппить его с флагом WriteOnly или ReadWrite.
3. Все у вас в порядке с linesize. Почитайте про цветовое пространство YUV420P. Другое дело я не очень понимаю где у вас инициализируется переменная size.
4. Вы уверены, что ваш QAbstractVideoSurface поддерживет пиксельный формат YUV420P? И хотя скорее всего этот формат поддерживается, но не мешает это проверить QAbstractVideoSurface::supportedPixelFormats(). Вероятно проблемы с цветностью отсюда.
5. Также вы выбрали неверное поле для доступа к буферу данных. В вашем распоряжении frame->data. Насколько я помню buf используется для внутренних нужд в целях подсчета ссылок.
P.S.
Сейчас посмотрел на код QVideoFrame и QAbstractVideoBuffer, прямое использование буффера AVFrame в силу особенностей текущей реализации QVideoFrame невозможно. FFmpeg использует выравнивание памяти для своих буферов данных, а QVideoFrame нет. При этом QVideoFrame самостоятельно рассчитывает размер строки (stride) для каждого канала (plane) на основании размера кадра и размера строки для первого канала и передать ему значения из AVFrame->linesize[] нет никакой возможности. А это значит, что смещения для AVframe->data[n] при нестандартных разрешениях кадра (к примеру отличных от 1920х1080 и т.д), могут быть рассчитаны неверно.