Попробуйте поменять алгоритм балансировки. Со стороны D-Link это команда
config link_aggregation algorithm, со стороны Linux и netplan это опция
transmit-hash-policy (xmit_hash_policy). Надо смотреть по профилю трафика конечно, но обычно чтобы максимально размазать надо делать L3+L4 режим.