Denis

Рекомендую использовать связку Python+openCV.
Так как примеров изображения нет, то помочь с выделением объекта не смогу.
Алгоритм следующий:
1. Выделить ваш объект. (сделать изображени бинарным: 0 - фон, 1 - объект). Например, если ваш объект светлее фона то можно выделить по порогу cv2.threshold(img,127,255,cv2.THRESH_BINARY)
2а. Если вашь алгоритм выделения объекта выделил только объект, то просто подсчитайте сумму пикселей.
2б. Если есть ложные обнаружения, то на первом этаме можно пройти медианным фильтром (cv2.medianBlur(img,5)) или морфологическим открытием. Данные операции помогут избавиться от мелких ложных оьнаружений.
3. Найти контуры cv2.findContours(...).
4. Отфильтровать контуры, если есть ложные обнаружения.
5. Для контура, который сообветствует вашему объекту найти площадь. cv2.contourArea

Обычно, если задачу можно автоматизировать, то я пишу скрипт на python с openCV.

Классика https://www.ozon.ru/context/detail/id/19898948/
https://www.ozon.ru/context/detail/id/135933820/
курс лекций https://www.youtube.com/watch?v=DclyqYN99og&list=P... , сейчас 2 часть выходит

Для обработки изображений я использую либо с++, либо python. Для этих языкох есть библиотека openCV, которая существенно упрощает обработку.

Есть еще dlib. Она header only.
P.S. отделить фон от объекта это далеко не простая задача.

Решаем с помощью openCV.
1. Пороговая обработка (все что != цвету рамки -> 0, иначе 1);
2. Находим границы с помощью canny;
3. Находим контуры(findContours с флагом RETR_EXTERNAL) найти самый длинный. Это по идее будет внутренняя сторона рамки.
4. Апроксимируем контур (convexHull)
5. Зная левую верхнюю и правую нижнюю точки, можно найти рамки.
толщина левой = Xmin;
толщина верхней = Ymin;
толщина правой = w - Xmax;
толщина нижней = р - Ymax;

Я рекомендую прочитать книгу: www.ozon.ru/context/detail/id/19898948 . В ней изложены основные методы ЦОИ и даны формулы.
А математика зависит от конкретной задачи, но действительно очень многое из университетского курса высшей математике может понадобиться. Также следует обратить внимание на дискретную математику.