А в чем проблема? 2 двух-портовых КВМ. 2 выхода видюхи игрового компа - режим Клон, USB клава-мыша
www.nix.ru/autocatalog/kvm_switches/Multico_EWK240...
Комментарий напомнил старый анекдот: Подходит мужик к милиционеру и говорит:
- Давайте я вам расскажу политический анекдот?
- Да вы что, не видите - я ж милиционер!!!
- Ничего, я расскажу медленно и два раза.
Итак, второй раз, и медленно:
Берем 2 (два) таких 2-портовых коммутатора. Подключаем первый коммутатор к первому компу с Линуксом, и к первому выходу видюхи игрового компа, второй коммутатор - ко второму Линуксу и второму выходу видюхи игрового компа. Переводим выходы видюхи игрового компа в режим "клон". Получается то что хотели - на любом из 2-х мест можно подключиться либо к своему Линуксу, либо к игровому компу.