Вы неправильно настраиваете способ балансировки со стороны свича. Поменяйте его, укажите что-то из доступного выбора:
Src-IP
Src-MAC
Src-IP-XOR-Dst-IP
Протокол LACP учавствует только в сборе ПАРЫ (или нескольких линий), но не учавствует в том, как же в итоге кадры разлетятся по каналам, это настраивается отдельно. Ищите детали в документации.
UPD так же возможно нужно дополнительно со стороны сервера затюнить балансировку, указав что-то лучше чем то, что можно выбрать через GUI подробнее
missingsmth.com/configure-nic-teaming раздел про Configure NIC Teaming: Load balancing modes -> Address Hashing
UPD2 стоит отдельно отметить, что балансировка влияет только на распределение пакетов с _одной стороны_, т.е. если вы с одной стороны настроите по Сорс-IP, с другой стороны ничего не поменяется, стороны не обмениваются этой информацией, LACP (и семейство подобных) созданны только для того, что бы обьеденить линии, выбрать тайминги и сказать кто есть резервный или хотспее линия. Не для договаривания о балансировках.