python - Opencv:从许可证中裁剪文本区域
问题描述
我有一张驾驶执照的下图,我想提取有关驾驶执照、姓名、出生日期等的信息。我的思考过程是找到一种方法将它们逐行分组,并裁剪出包含姓名的单个矩形, 许可证等 eng 和 ara。但我失败得很惨。
import cv2
import os
import numpy as np
scan_dir = os.path.dirname(__file__)
image_dir = os.path.join(scan_dir, '../../images')
class Loader(object):
def __init__(self, filename, gray=True):
self.filename = filename
self.gray = gray
self.image = None
def _read(self, filename):
rgba = cv2.imread(os.path.join(image_dir, filename))
if rgba is None:
raise Exception("Image not found")
if self.gray:
gray = cv2.cvtColor(rgba, cv2.COLOR_BGR2GRAY)
return gray, rgba
def __call__(self):
return self._read(self.filename)
class ImageScaler(object):
def __call__(self, gray, rgba, scale_factor = 2):
img_small_gray = cv2.resize(gray, None, fx=scale_factor, fy=scale_factor, interpolation=cv2.INTER_AREA)
img_small_rgba = cv2.resize(rgba, None, fx=scale_factor, fy=scale_factor, interpolation=cv2.INTER_AREA)
return img_small_gray, img_small_rgba
class BoxLocator(object):
def __call__(self, gray, rgba):
# image_blur = cv2.medianBlur(gray, 1)
ret, image_binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
image_not = cv2.bitwise_not(image_binary)
erode_kernel = np.ones((3, 1), np.uint8)
image_erode = cv2.erode(image_not, erode_kernel, iterations = 5)
dilate_kernel = np.ones((5,5), np.uint8)
image_dilate = cv2.dilate(image_erode, dilate_kernel, iterations=5)
kernel = np.ones((3, 3), np.uint8)
image_closed = cv2.morphologyEx(image_dilate, cv2.MORPH_CLOSE, kernel)
image_open = cv2.morphologyEx(image_closed, cv2.MORPH_OPEN, kernel)
image_not = cv2.bitwise_not(image_open)
image_not = cv2.adaptiveThreshold(image_not, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 15, -2)
image_dilate = cv2.dilate(image_not, np.ones((2, 1)), iterations=1)
image_dilate = cv2.dilate(image_dilate, np.ones((2, 10)), iterations=1)
image, contours, heirarchy = cv2.findContours(image_dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for contour in contours:
x, y, w, h = cv2.boundingRect(contour)
# if w > 30 and h > 10:
cv2.rectangle(rgba, (x, y), (x + w, y + h), (0, 0, 255), 2)
return image_dilate, rgba
def entry():
loader = Loader('sample-004.jpg')
# loader = Loader('sample-004.jpg')
gray, rgba = loader()
imageScaler = ImageScaler()
image_scaled_gray, image_scaled_rgba = imageScaler(gray, rgba, 1)
box_locator = BoxLocator()
gray, rgba = box_locator(image_scaled_gray, image_scaled_rgba)
cv2.namedWindow('Image', cv2.WINDOW_NORMAL)
cv2.namedWindow('Image2', cv2.WINDOW_NORMAL)
cv2.resizeWindow('Image', 600, 600)
cv2.resizeWindow('Image2', 600, 600)
cv2.imshow("Image2", rgba)
cv2.imshow("Image", gray)
cv2.moveWindow('Image', 0, 0)
cv2.moveWindow('Image2', 600, 0)
cv2.waitKey()
cv2.destroyAllWindows()
当我运行上面的代码时,我得到以下分段。这不接近我想要的
解决方案
在我的脑海中,我可以想到两种方法:
方法1. 正如评论中提到的,您可以裁剪左上角的鹰符号和右上角的旗帜,将它们用作模板并找到您感兴趣的两个框,左下角(小框)和中心(大框)相对于找到的模板的位置。作为开始,你可以使用这个:
模板 1
模板 2
代码:
import numpy as np
import cv2
import matplotlib.pyplot as plt
image = cv2.imread("ID_card.jpg")
template_1 = cv2.imread("template_1.jpg", 0)
w_1, h_1 = template_1.shape[::-1]
template_2 = cv2.imread("template_2.jpg", 0)
w_2, h_2 = template_2.shape[::-1]
res_1 = cv2.matchTemplate(image=image, templ=template_1, method=cv2.TM_CCOEFF)
min_val_1, max_val_1, min_loc_1, max_loc_1 = cv2.minMaxLoc(res_1)
res_2 = cv2.matchTemplate(image=image, templ=template_2, method=cv2.TM_CCOEFF)
min_val_2, max_val_2, min_loc_2, max_loc_2 = cv2.minMaxLoc(res_2)
cv2.rectangle(image, max_loc_1, (max_loc_1[0] + w_1, max_loc_1[1] + h_1), 255, 2)
cv2.rectangle(image, max_loc_2, (max_loc_2[0] + w_2, max_loc_2[1] + h_2), 255, 2)
结果:
您可以使用找到的模板的中心来获取所需框(小框和大框)的相对位置。
方法 2。与您基于轮廓所做的类似,基本思想是使用形态学在较大的框中获得确定的线条。
代码:
import numpy as np
import cv2
import matplotlib.pyplot as plt
image = cv2.imread("ID_card.jpg")
imgray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(imgray, 150, 255, 0)
# cv2.imwrite("thresh.jpg", thresh)
# Morphological operation
thresh = cv2.morphologyEx(thresh, cv2.MORPH_OPEN,
cv2.getStructuringElement(cv2.MORPH_RECT, (7, 7)))
im2, contours, heirarchy = cv2.findContours(thresh, cv2.RETR_TREE,
cv2.CHAIN_APPROX_SIMPLE)
# Sort the contours based on area
cntsSorted = sorted(contours, key=lambda x: cv2.contourArea(x), reverse=True)
approxes = []
for cnt in cntsSorted[1:10]:
peri = cv2.arcLength(cnt, True)
# approximate the contour shape
approx = cv2.approxPolyDP(cnt, 0.04 * peri, True)
approxes.append(approx)
if len(approx) == 4:
# length of 4 means 4 vertices so it should be a quadrilateral
cv2.drawContours(image, approx, -1, (0, 255, 0), 10)
cv2.imwrite("ID_card_contours.jpg", image)
print(approxes)
结果:
阈值图像
形态学开放后
最终图像,两个预期框的相应角用绿色标记
因此,这种方法非常简单,我相信您可以完成剩下的工作,从大盒子中找到较小的子集。如果没有,请给我留言,我很乐意提供帮助(基本上从图像中裁剪该区域,使用HoughlinesP,你应该没问题。或者,我可以看到较小的子集宽度相等,所以你可以裁剪它们基于 y 坐标)
PS。希望“更大”,“更小”的盒子能被很好地理解,为我懒惰而没有在图像中显示它们表示歉意。
注意:仅给定一张图像,我不能确定它是否适用于数据集中的所有图像。您可能需要调整阈值和morph_open参数。如果你能上传更多图片,我可以试一试。
礼貌:OpenCV 形状检测,用于检测轮廓中的形状。
推荐阅读
- amazon-web-services - AWS 错误:无效操作:表名“?” 指定不止一次;
- json - 如何查询 postgres 表中的 JSON 列,以从所有 json 中检索特定 json 键的所有值
- html - 将文本放在图像中途的最佳方法
- python - 我在我的 django 表单中覆盖了 clean() 方法,并修复了一个出现的错误。但我不明白这个错误是如何修复的
- discord.py - 如何发送文件 discord.py 中的文本
- postgresql - pg_dump 到远程服务器?
- haskell - 如何指定整数的最小界限
- reactjs - 重定向后反应上下文丢失
- python - 如何在 python 中连接日期?
- python - 如何从数据框列中获取 TF 特征列?