Опустим вопрос механики - допустим у вас она есть.
Задание: робот берет орех и раскалывает его.
простое рещение: орех кладут на его место, машина определяет что там что-то появилось, раскалывает орех нудным числом движений и ждет пока освободят место и приходит в начальное состояние.
сложное решение: орех кладут в произвольное место на столе, робот замечает и распознает новый объект, понимая что это орех - активируется манипулятор чтобы выполнить захват, после захвата направляет обьект чтобы его раскалость, раскалывает, забирает содержимое и возвращает в исходное место.
для каждого решения нужен набор датчиков и воздействий которые отсылает программа до срабатывания определенных датчиков.