Александр К

Я бы применил другой алгоритм на базе 4 видеокамер 4К с ракурсом не меньше 90 градусов каждая, что в целом дает панораму на 360 и применением функции оптического распознавания по определенным маркерам ( к примеру цветовым с подсчетом пикселей определенного цвета), нанесенным на соседние роботы. Значение выступает в качестве триггерного и дальше делай с ним что хочешь.. Так же возможен и алгоритм с применением QR сканеров и соответствующих QR меток на роботах.

Если речь идет о наборах (конструктор станков) что есть по сути линейные актуаторы в комплекте с шаговыми двигателями вам вполнe может подойти эта Beep toolkit - IDE Soft Controller, забейте в гугле наименование как есть.
Она хоть и не бесплатная, но стоит своих денег. На сайте продукта есть полный дисклеимер.

Не стоит обольщаться мифами об нейросетях и участии ИИ в создании робототехники, как и в целом автоматизации.
Там есть ключевые моменты, о которых маркетологи предпочитают молчать.

Для веертооlкiт (Soft Controller) по простоте и сложности нет неразрешимых задач, единственное, но он не дружит с ARM камнями. Рулит под x86 LTSC Win 10 (OEM) это к примеру SBC или какой-нить стик. Погуглите, в сети есть много ссылок.

Мышь из за своего ограниченного функционала не лучшее решение для управления многоосным манипулятором, смотрите в сторону игровых джойстиков и оргнизуйте счет команд. Есть множество таких готовых решений промышленного назначения.

Есть масса способов счета данных со стороны сенсоров, что во многом зависит от протокола (типа) данных, которые они передают или с него снимают (делятся на аналоговые и цифровые).
Я много не люблю дискутировать, а сразу демонстрирую в работе, за что меня здесь постоянные, одни и те же некоторые кислотные юзеры молча минусуют.
Вашему вниманию один из элегантных способов общения с аналоговыми сенсорами, все просто и доступно:
Конкретно начиная с 1:35, но чтоб все было до конца понятно, там на канале небольшой цикл образовательных лекций по в.у. платформе.