Как разбить таблицу на ячейки со скана?

Question

[Павел Ерошевич]

Написал на питоне скрипт, который разбивает сканированный документ на блоки и нарезает их в отдельные файлы, эти файлы скармливать в Tesseract. Проблема заключается в появлении таблицы в документе, каким образом можно понять что это таблица и нарезать ее на ячейки(учитывать collspan/rowspan)?

Comments

[Sergey Svetlov]

было бы здорово, если бы Вы код показали свой.
таблица где и в каком виде у Вас появляется? нужен код :)

[Павел Ерошевич]

Sergey Svetlov, привожу код, хоть он сильно и не поможет, задача всё равно сводится к определению таблицы на изображении и разбивке на ячейки

import cv2
try:
    from PIL import Image
except ImportError:
    import Image
import pytesseract
import os

def get_points(approx, h, w):
    x1 = max(min(r[0][0] for r in approx)-10,0)
    y1 = max(min(r[0][1] for r in approx)-10,0)
    x2 = min(max(r[0][0] for r in approx)+10,w)
    y2 = min(max(r[0][1] for r in approx)+10,h)
    return x1,y1,x2,y2

def filters(img):
    imgray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    imgray = cv2.convertScaleAbs(imgray)
    imgray = cv2.GaussianBlur(imgray, (7, 7), 0)
    imgray = cv2.Canny(imgray, 10, 250)
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (25,25))
    imgray = cv2.morphologyEx(imgray, cv2.MORPH_CLOSE, kernel)
    return imgray

im = cv2.imread('doc3.jpg')
(h, w) = im.shape[:2]

imgray = filters(im)

cnts = cv2.findContours(imgray.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[0]

for ind, c in enumerate(reversed(cnts)):
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.002 * peri, True)

    x1,y1,x2,y2 = get_points(approx, h, w)

    if pow((x2-x1)**2 + (y2-y1)**2, 0.5)<80:
        continue

    ROI = im[y1:y2, x1:x2]
    
    #Далее отпарвка в тессеракт ROI

для образца можно взять любое изображение документа из сети, например
upravdom-7.ru/Portals/118/Docs1/vmuzep7-02.jpeg

[Sergey Svetlov]

спасибо
пробовал так Вашу задачу (тестовая картинка с таблицей такая
код: import pytesseract
from PIL import Image, ImageEnhance, ImageFilter

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR/tesseract.exe'

img = Image.open(r"C:\Users\Admin\JupiterPython\My_projects\table_test.png")
text = pytesseract.image_to_string(img, lang='eng+rus')

print(text)

[Sergey Svetlov]

код выдает данные из таблицы с картинки

[Павел Ерошевич]

Sergey Svetlov, нет, тессеракт не проблема, с ним разобрался, но ему становится плохо, когда в ячейках таблицы несколько строк, тогда он просто построчно считывает данные, как будто границ таблицы не существует, слева направо, сверху вниз. Возможно, я не умею готовить тессеракт...

[Sergey Svetlov]

не мое, но может поможет (файл с картинкой поменяйте):

from PIL import Image
from matplotlib import pyplot as plt
import pytesseract
import numpy as np
import cv2
import math
import os

file = r"your_path_image"
table_image_contour = cv2.imread(file, 0)
table_image = cv2.imread(file)
ret, thresh_value = cv2.threshold(table_image_contour, 180, 255, cv2.THRESH_BINARY_INV)
kernel = np.ones((5,5),np.uint8)
dilated_value = cv2.dilate(thresh_value,kernel,iterations = 1)
contours, hierarchy = cv2.findContours(dilated_value, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
for cnt in contours:
x, y, w, h = cv2.boundingRect(cnt)
# bounding the images
if y < 500:
table_image = cv2.rectangle(table_image, (x, y), (x + w, y + h), (0, 0, 255), 1)
plt.imshow(table_image)
plt.show()
cv2.namedWindow('detecttable_', cv2.WINDOW_NORMAL)
print(table_image)

#результат (надо настраивать)

Вообще, конечно, для таких штук надо самому настраивать нейронку :)

[Павел Ерошевич]

Sergey Svetlov, спасибо, попробую

[Sergey Svetlov]

Павел Ерошевич, вот еще по Вашей теме:
https://www.pyimagesearch.com/2018/09/17/opencv-oc...

Answer 1

[Sergey Svetlov]

Павел, а где "Проблема заключается в появлении таблицы в документе" это ?
Ваш код выдает nparray - это набор чиселок, но не данные таблицы.

Comments

[Павел Ерошевич]

я ожидаю от тессеракта разбиения текста на ячейки... если так не получится - разбить таблицу на ячейки таким же образом как и весь документ на блоки, которые с дальнейшем можно отправить в тессеракт. В идеале - было бы хорошо получить данные "Координаты+текст"