Получил ответ на вопрос почему периодически пропадает связь, для начала опишу что пробовал:
1. Отключать вообще все vlan'ы кроме vlan1
2. Включать/отключать функцию ассиметричного vlan
3. Тэгировать vlan1 пакеты на порту-приемнике
4. Т.к. vlan1 нетэгированный пробовал менять vlan1 на vlan101 и другие.
5. Подключать другие коммутаторы.
6. Отключать и последовательно подключать устройства к подключаемому коммутатору (думал может дело в какой-то устаройстве, которое, например, формирует пакеты нестандартного размера)
Ну и другое по мелочи.
B итоге дело оказалось в функции STP, активированной по-умолчанию на vlan1 коммутаторах cisco. Соответственно нужно либо отключить ее на cisco либо активировать ее на подключаемых коммутаторах.
Ответ на вопрос почему так выглядит график пинга подключенных коммутаторов и/или на что он указывает остается открытым.