Как найти на изображении определенный объект?

Question

[Ilya Neizvestnyj]

Есть нейросеть, которая классифицирует изображения дорожных знаков 200х200


Как теперь найти эти знаки на изображении 1920х1080? Пробовал обрезать по контурам, но вместе со знаками сохраняется еще и всякий мусор.

import cv2
from PIL import Image

image = cv2.imread("C:/Users/pikro/PycharmProjects/ML/road_sign/test.png")

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
edged = cv2.Canny(image, 10, 200)
_, cnts, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
idx = 0

rects = sorted([cv2.boundingRect(c) for c in cnts], key=lambda x: x[0])

for x, y, w, h in rects:
    if w > 100 and h > 100:
        idx += 1
        new_img = image[y - 3:y + h + 3, x - 3:x + w + 3]
        cv2.imwrite("C:/Users/pikro/PycharmProjects/ML/road_sign/crop/" + str(idx) + '.png', new_img)
cv2.imshow("im", image)
cv2.waitKey(0)

Comments

[U235U235]

Зря вы переводите сразу в оттенки серого.
Цвет - один из важных признаков дорожных знаков.

[Ilya Neizvestnyj]

U235U235, Да я тесты просто проводил, и выявил, что если обучать сеть на градиенте серого, то точность выше, в некоторых случаях гораздо.

Answer 1

[Dimonchik]

https://www.pyimagesearch.com/2019/11/04/traffic-s...

Comments

[Ilya Neizvestnyj]

мм, как я понял, в статье делается тоже самое, что делаю я, если нейросети (моей) скармливать изображения знака (как на фото выше), то она определит знак, но если на фото еще и дороги машины, она не найдет знак,точнее она даст ответ, но уже неправильный, так вот и вопрос, как найти его среди множества объектов, тоесть мне нужно с фотографии вырезать знак, или знаки

[Dimonchik]

то есть, думаете, статья о том, что задачу решить нельзя?

Localization: Detect and localize where in an input image/frame a traffic sign is.
Recognition: Take the localized ROI and actually recognize and classify the traffic sign.

[Ilya Neizvestnyj]

Я перечитал в оригинале, но там все тестится только на обрезанных изображениях, а как найти допустим на картинке 10 знаков? Задача решается, только как?

[Vladimir S]

ищите сначала фигуры, вырезайте потом на них ищите знаки

[Ilya Neizvestnyj]

Vladimir S, А как их искать? Допустим ромб, квадрат и круг, именно чтобы найти, а потом сохранить. Я тоже думал сделать так, но что то хреновато получилось

[dmshar]

Cheloved, Ну, например, вот так:
https://towardsdatascience.com/object-detection-si...

[Ilya Neizvestnyj]

dmshar, да я понимаю как работает, код нужен)

[Александр]

А разве сверточная нейронная сеть вопрос не решает?

[Ilya Neizvestnyj]

Александр, не, она же на изображениях 200на200 натренирована, а мы ей 2000 даем, плюс знаков может быть 10)

[Александр]

Сверточная сеть как раз и сворачивает изображение
Плюс может находить несколько разных элементов на изображении

[Александр]

https://www.youtube.com/watch?v=Oy3X81Pa21k
https://www.youtube.com/watch?v=64gN_bocSdw&list=P...

[Ilya Neizvestnyj]

хм, ну когда я ей даю изображение 200х200, она точно определяет, а так, ей даже гору дай, она знак выдаст