python - 如何去歪斜文本图像也检索该图像的新边界框?
问题描述
这是我得到的收据图像,我使用 matplotlib 绘制了它,如果您看到图像,则其中的文本不直。我怎样才能消除偏差并修复它?
from skimage import io
import cv2
# x1, y1, x2, y2, x3, y3, x4, y4
bbox_coords = [[20, 68], [336, 68], [336, 100], [20, 100]]
image = io.imread('https://i.ibb.co/3WCsVBc/test.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
fig, ax = plt.subplots(figsize=(20, 20))
ax.imshow(gray, cmap='Greys_r')
# for plotting bounding box uncomment the two lines below
#rect = Polygon(bbox_coords, fill=False, linewidth=1, edgecolor='r')
#ax.add_patch(rect)
plt.show()
print(gray.shape)
(847, 486)
我认为如果我们想先去歪斜,我们必须找到边缘,所以我尝试使用 canny 算法找到边缘,然后得到如下轮廓。
from skimage import filters, feature, measure
def edge_detector(image):
image = filters.gaussian(image, 2, mode='reflect')
edges = feature.canny(image)
contours = measure.find_contours(edges, 0.8)
return edges, contours
fig, ax = plt.subplots(figsize=(20, 20))
ax.imshow(gray, cmap='Greys_r');
gray_image, contours = edge_detector(gray)
for n, contour in enumerate(contours):
ax.plot(contour[:, 1], contour[:, 0], linewidth=2)
我从上面的代码中得到的边缘是每个文本的边缘,但这不是我需要的。我需要得到收据的边缘吗?
我还需要一种在图像去偏斜(即拉直图像)后获取新边界框坐标的方法吗?
如果有人解决过类似的问题,请帮帮我?谢谢。
解决方案
这是 Projection Profile Method 的修改实现,用于校正倾斜图像,如JBIG 压缩图像的 Projection profile based skew estimation algorithm 中所述。得到二值图像后,思路是将图像旋转各个角度,在每次迭代中生成像素直方图。为了确定倾斜角度,我们比较了峰值之间的最大差异,并使用该倾斜角度旋转图像以校正倾斜。要确定的峰值数量可以通过该delta
值进行调整,delta 越低,检查的峰值越多,权衡过程将花费更长的时间。
之前->
之后
代码
import cv2
import numpy as np
from scipy.ndimage import interpolation as inter
def correct_skew(image, delta=.1, limit=5):
def determine_score(arr, angle):
data = inter.rotate(arr, angle, reshape=False, order=0)
histogram = np.sum(data, axis=1)
score = np.sum((histogram[1:] - histogram[:-1]) ** 2)
return histogram, score
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.medianBlur(gray, 3)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
scores = []
angles = np.arange(-limit, limit + delta, delta)
for angle in angles:
histogram, score = determine_score(thresh, angle)
scores.append(score)
best_angle = angles[scores.index(max(scores))]
(h, w) = image.shape[:2]
center = (w // 2, h // 2)
M = cv2.getRotationMatrix2D(center, best_angle, 1.0)
rotated = cv2.warpAffine(image, M, (w, h), flags=cv2.INTER_CUBIC, \
borderMode=cv2.BORDER_REPLICATE)
return best_angle, rotated
if __name__ == '__main__':
image = cv2.imread('1.jpg')
angle, rotated = correct_skew(image)
print(angle)
cv2.imshow('rotated', rotated)
cv2.imwrite('rotated.png', rotated)
cv2.waitKey()
注意:另请查看将倾斜图像旋转到直立位置以获取另一种方法
推荐阅读
- angular - 数组问题 - 为什么数组被下一行填充?
- javascript - firebase.auth().signInAnonymously() 限制?
- blockchain - 在corda的节点中配置BNO详细信息
- tensorflow - 如何将 .hdf5 转换为 .h5 keras 模型
- c - 闹钟在 C 语言中没有给出预期的输出
- android - 为 TableLayout 设置正确的参数
- javascript - 由于访问控制检查,XMLHttpRequest 无法加载 https://localhost:8585/pay
- vue.js - 如何用笑话模拟回调
- api - 如何在同一页面内调用不同的api链接?
- java - 使用注解时未调用@Aspect