Как найти определенный текст на картинке OpenCV?

Question

[apiwi]

Вот код, пытаюсь им найти текст на картинке, но не получается, я так понял не подходит метод сравнения.
Тк, картинку на картинке он находит легко. Подскажите пожалуйста, как исправить

import cv2

#TM_SQDIFF_NORMED
method = cv2.TM_SQDIFF_NORMED
small_image = cv2.imread('shab.png', 0) # что ищу
large_image = cv2.imread('output.png', 0) # где ищу
result = cv2.matchTemplate(small_image, large_image, method)
mn,_,mnLoc,_ = cv2.minMaxLoc(result)
MPx,MPy = mnLoc
trows,tcols = small_image.shape[:2]
cv2.rectangle(large_image, (MPx,MPy),(MPx+tcols,MPy+trows),(0,0,255),10)
res = cv2.resize(large_image, dsize=(2500,2500))
cv2.namedWindow("Resized", cv2.WINDOW_NORMAL)
cv2.imshow("Resized", res)
cv2.waitKey(0)

Answer 1

[apiwi]

Решил вопрос с помощью: pdfminer, pdf2image, PIL
Нашел координаты нужного текста с помощью pdfminer, преобразовал в картинку с помощью pdf2image и с помощью PIL сделал обрезку нужной области ( прибавил к координатам значения )

Comments

[Ross Alex]

Выложите финальное решение, если не сложно. Спасибо!

[apiwi]

Ross Alex, под каждый файл свое решение, я долго коллебровал под свой файл

[apiwi]

Ross Alex,

fille = 'D:\\Python\\TG\\SharagaBot\\na_19_11_1_korpus.pdf'
find = "З-3-9Б-19В"

fp = open(fille, 'rb')
rsrcmgr = PDFResourceManager()
laparams = LAParams()
device = PDFPageAggregator(rsrcmgr, laparams=laparams)
interpreter = PDFPageInterpreter(rsrcmgr, device)
pages = PDFPage.get_pages(fp)

for page in pages:
    print(f'Processing pars {fille} ...')
    interpreter.process_page(page)
    layout = device.get_result()
    for lobj in layout:
        if isinstance(lobj, LTTextBox):
            text = lobj.get_text()
            text = text.replace(' ', '')
            if find in text:
                print(lobj.bbox)
                x0, y0_orig, x1, y1_orig = lobj.bbox
                y0 = page.mediabox[3] - y1_orig
                y1 = page.mediabox[3] - y0_orig
                x_1 = (lobj.bbox[0])
                y_1 = (page.mediabox[3] - y0_orig)
                images = convert_from_path(fille, 576)
                for image in images:
                    fille = fille.replace(".pdf", ".png")
                    image.save(fille)
                    
                picture = Image.open(fille)
                draw = ImageDraw.Draw(picture)
                draw.rectangle(((8*(x_1-15), 8*(y_1-30)), 8*(x_1 + 100), 8*(y_1 + 150)), outline=ImageColor.getrgb("red"), width=8)
                #picture = picture.crop((8*(x_1-15), 8*(y_1-20), 8*(x_2+60), 8*(y_2+145)))
                picture.show()
                picture.save(fille)
                print(f"Saving ressult as {fille} ...")
                break
    else:
        print("Sorry... I didnt find anything :(")

[apiwi]

apiwi, и всё это я привязал к vk_api

[Ross Alex]

apiwi, спасибо. Попробую по аналогии сделать в своей задаче.

[apiwi]

Ross Alex, Пожалуйста )

Answer 2

[calculator212]

Вот код, пытаюсь им найти текст на картинке, но не получается, я так понял не подходит метод

Нужен tesseract для этого а opencv