Mikname, а настройки lacp на свитче и сервере одинаковые? включая всякие таймеры и режимы определения упавшего канала, хеширования для выбора канала и др)
Попробуйте поменять алгоритм балансировки. Со стороны D-Link это команда config link_aggregation algorithm, со стороны Linux и netplan это опция transmit-hash-policy (xmit_hash_policy). Надо смотреть по профилю трафика конечно, но обычно чтобы максимально размазать надо делать L3+L4 режим.
Ходит в какую сторону?
Управлять распределением трафика можно только для передаваемого трафика. Т.е. настройки на свиче - влияют на трафик от свича в сторону сервера, настройки на сервере - влияют на трафик от сервера до свича....