Готового софта даже в общем случае для определения что делает человек - не существует, но именно последнее десятилетие, благодаря мощностям железных кластеров gpu и нейронным сетям возможно создание такого софта в узких областях, конкретно в вашем случае - отслеживание действий бармена.
Но для этого вам необходимо уже собранное приличное количество видео, охватывающее все виды деятельности бармена (кстати разных людей) причем по многу раз и желательно с нескольких ракурсов. Затем вы должны сесть сами или нанять команду девочек-операторов, которые разметят каждый кадр! снятых видео что на них происходит (скорее всего вам не надо выявлять объекты на видео, только сам факт наличия действия). Вполне возможно что предварительно вам придется нанять программиста, который подчистит видео от лишней информации (например вырежет часть изображения, на которую попадают клиенты), и возможно отследит положение бармена (технически библиотеки для этого есть). Этот же программист подберет софт и запустит построение нейронной сети на собранных данных на вашем gpu кластере (или если речь идет об облачных услугах то немного дешевле на гугловских TPU)
и в результате, если вам повезет, вы получите нейронную сеть, которая по любому кадру видео в реальном времени на дешевом железе сможет выдавать классификацию, чем занят человек на нем.
В общем работы у вас непочатый край и по деньгам это будет очень и очень дорого.
p.s. если не боитесь большого количества фальшивых срабатываний, можно просто определять положение бармена (несколько камер и простое приложение на opencv), а там, если он рядом с кофеваркой дольше порогового значения времени - варит кофе, если у кассы - принимает оплату и т.п.
Средний
