Если нейронка потеряла объект, значит не смогла распознать, а значит и координаты определить тоже не сможет.
Недообученная сеть?
Вариант - попытаться использовать знание с предыдущего кадра, на котором нейронка смогла выделить объект, каким-нибудь более дубовым алгоритмом, гуглить детектор движения opencv, взяв за основу кусок изображения или скорее его параметры, т.е. отфильтровав кадр, фильтры подбирать под задачу само собой, например простой диф изображений с кадра где последний раз видели объект и все последующие, там где объект двигался будет максимум, берешь его центр (нужно заранее определить тем же алгоритмом центр для искомого объекта чтобы вычесть его, так как координаты от нейронки у тебя могут быть левый верхний угол)
хуже всего, если камера тоже может двигаться/поворачиваться, либо ненужный фон может двигаться, тогда нужен алгоритм не разницу кадров, а тот что используется для определения дрожания камеры (для точек на экране будет дан вектор движения, те что были у объекта с прошлых кадров дадут поправку на старые координаты).