Как вытащить все белые объекты и измерить их белизну OpenCV?

Question

[Elbro]

Добрый день. Стоит задача, для оценки кач-ва освещения вытащить белые объекты (конкретно это лист бумаги в руках человека) и измерить его белизну. Может есть уже похожие кейсы или как такое сделать?

Чисто теоретически, я понимать что надо вытащить прямоугольный контур, но на деле все сложнее

Изображение, где ищу контур

Код

import cv2

# read the image
image = cv2.imread('123123.jpeg')

# B, G, R channel splitting
blue, green, red = cv2.split(image)

# detect contours using blue channel and without thresholding
contours1, hierarchy1 = cv2.findContours(image=blue, mode=cv2.RETR_TREE, method=cv2.CHAIN_APPROX_NONE)

# draw contours on the original image
image_contour_blue = image.copy()
cv2.drawContours(image=image_contour_blue, contours=contours1, contourIdx=-1, color=(0, 255, 0), thickness=2, lineType=cv2.LINE_AA)
# see the results
cv2.imshow('Contour detection using blue channels only', image_contour_blue)
cv2.waitKey(0)
cv2.destroyAllWindows()

# detect contours using green channel and without thresholding
contours2, hierarchy2 = cv2.findContours(image=green, mode=cv2.RETR_TREE, method=cv2.CHAIN_APPROX_NONE)
# draw contours on the original image
image_contour_green = image.copy()
cv2.drawContours(image=image_contour_green, contours=contours2, contourIdx=-1, color=(0, 255, 0), thickness=2, lineType=cv2.LINE_AA)
# see the results
cv2.imshow('Contour detection using green channels only', image_contour_green)
cv2.waitKey(0)
cv2.destroyAllWindows()

# detect contours using red channel and without thresholding
contours3, hierarchy3 = cv2.findContours(image=red, mode=cv2.RETR_TREE, method=cv2.CHAIN_APPROX_NONE)
# draw contours on the original image
image_contour_red = image.copy()
cv2.drawContours(image=image_contour_red, contours=contours3, contourIdx=-1, color=(0, 255, 0), thickness=2, lineType=cv2.LINE_AA)
# see the results
cv2.waitKey(0)
cv2.imshow('red_channel.jpg', image_contour_red)
cv2.destroyAllWindows()

Результат

Answer 1

[Vindicar]

Преобразуй кадр в цветовую систему HSV, ищи пиксели, у которых канал Saturation ниже заданного порога (т.е. они более-менее серые), а канал Value выше заданного порога (т.е. они более-менее яркие). По полученной маске уже отбирай пиксели для анализа.

Либо можно схитрить, если использовать более сложный эталон, например, шахматную доску. cv2.findChessboardCorners() позволит найти координаты углов *внутри* доски известного размера, например, для доски 8х4 нужно указывать размер 7х3. Найди крайние угловые точки, извлеки этот кусок кадра. На нём точно будут только светлые и тёмные пиксели твоего эталона, чей цвет ты контролируешь. Прогони пороговое преобразование алгоритмом Otsu (есть в опенцв из коробки), получишь маску светлых пикселей. Их уже анализируешь.

Comments

[U235U235]

Я бы использовал детектор углов Харриса (или поиск по шаблону, уж очень четкие углы на картинке). Другой вариант: поиск линий через преобразование Хафа. А контуры тут не нужны.

[U235U235]

И разве нельзя оценить качество освещения используя просто, например, 90-ю процентиль яркости?

[Elbro]

Vindicar, я понял как найти белое, но не понимаю как нарисовать маску повеох белого.
Шахматная доска и Otsu- посмотрю

U235U235, можно по-подробнее?

[U235U235]

Elbro, если про процентиль, то посмотрите на гистограмму яркости.
На картинке белый лист занимает процентов 20 по площади и 90-я процентиль будет адекватной оценкой яркости листа. Но независимо от того, выделите ли вы лист или получите оценку его яркости, белизну оценить никак не получится. Яркость это не белизна. Белизна на фото зависит еще от освещения и от настроек камеры.

[Vindicar]

Elbro, читай про массивы numpy (они используются для хранения массивов пикселей в opencv). Упрощённо, они позволяют следующее:

pix = numpy.array([  # упрощённая картинка в оттенках серого. для цвета разница не принципиальная.
    [1, 7, 3],
    [5, 4, 2],
], dtype=numpy.uint8)

mask = pix > 4  # mask - логический массив такой же формы как pix
#    [False, True, False],
#    [True, False, False],

bright = pix[mask]  # массив [7, 5] - значения, удовлетворяющие условию.