时间戳

首页 > 解决方案 > 使用 OpenCV 删除 OCR 的文本框

python - 使用 OpenCV 删除 OCR 的文本框

问题描述

我正在尝试在具有以下格式的文档上运行 OCR（使用 Google 的 Tesseract）：

在此处输入图像描述

但是，Tesseract 假定中间的短条是字母/数字（l 或 i 或 1）。

作为预处理措施，我尝试使用以下代码删除垂直和水平线：

import cv2

from pdf2image import convert_from_path

pages = convert_from_path('..\\app\\1.pdf', 500)
for page in pages:
    page.save('..\\app\\out.jpg', 'JPEG')

image = cv2.imread('out.jpg')
result = image.copy()
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Remove horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
remove_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
cnts = cv2.findContours(remove_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

# Remove vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,40))
remove_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
cnts = cv2.findContours(remove_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

cv2.imshow('thresh', thresh)
cv2.imshow('result', result)
cv2.imwrite('result.png', result)
cv2.waitKey()

我遇到了一个问题，该文档的输出会删除文档中的大部分垂直和水平线，甚至是下图左右两侧的起点和终点线，但不会删除中间的小条。

我想知道我是否通过尝试预处理和删除行来解决这个错误。有没有更好的预处理方法或其他方法来解决这个问题？

标签： pythonopencvimage-processingdocumenttext-processing

解决方案

观察到表单字段与字符是分开的，您可以简单地使用轮廓区域进行过滤以隔离文本字符。思路是高斯模糊，然后大津的阈值得到二值图像。从这里我们找到轮廓并使用具有一些预定阈值的轮廓区域进行过滤。我们可以通过用 绘制轮廓来有效地去除线条cv2.drawContours。

二进制图像

在此处输入图像描述

删除的行

在此处输入图像描述

反转 OCR 准备就绪

在此处输入图像描述

使用Pytesseract 的OCR 结果

HELLO

代码

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Load image, grayscale, blur, Otsu's threshold
image = cv2.imread('1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (3,3), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Find contours and filter using contour area
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    area = cv2.contourArea(c)
    if area > 500:
        cv2.drawContours(thresh, [c], -1, 0, -1)

# Invert image and OCR
invert = 255 - thresh
data = pytesseract.image_to_string(invert, lang='eng',config='--psm 6')
print(data)

cv2.imshow('thresh', thresh)
cv2.imshow('invert', invert)
cv2.waitKey()

注意：如果您仍想使用删除水平/垂直线的方法，则需要修改垂直内核大小。例如，更改(1,40)为(1,10). 这将有助于删除较小的行，但也可能会删除文本中的一些垂直线，例如 in L。

推荐阅读