时间戳

首页 > 解决方案 > 如何在大图中定位二维码以提高解码性能？

python - 如何在大图中定位二维码以提高解码性能？

问题描述

背景

我需要在 Raspberry Pi 上的大图像 (2500x2000) 中检测和解码相对较小的二维码 (110x110 像素)。二维码可以在框架中的任何位置，但方向应该是正常的，即顶上。我们使用高质量的工业相机和镜头，因此图像通常质量良好且对焦清晰。

pyzbar目前，当我使用 aprox 600x500 的窗口裁剪 QR 码周围的图像时，我能够可靠地检测和解码图像。如果我尝试解码完整图像，则不会检测/解码该符号。

我试过的

我写了一个循环，在图像上滑动一个裁剪窗口，并尝试分别解码每个裁剪的帧。每次迭代我都会将窗口移动 50%，以确保不会错过窗口边缘的任何符号。

我也尝试过使用 OpenCV 进行检测/解码，但性能并不比使用pyzbar

我的解决方案有问题

影响我当前项目的问题：

滑动窗口方法难以调优，效率低且 b/c 慢：

  1. 它使整个区域被分析了近 4 次；将窗口移动 50% 的副作用，
  2. 最可靠的窗口尺寸往往很小并且需要多次迭代，
  3. 符号大小可能会因距离相机更近/更远而有所不同。

可能影响我将使用此方法的其他项目的问题：

  1. 滑动窗口可能会多次捕获一个符号，从而难以确定该符号是否多次出现。

问题

如何找到 QR 码的大致位置，以便相应地裁剪图像？

我对提高检测/解码性能的任何解决方案感兴趣，但更喜欢那些（a）使用机器学习技术（我是 ML 新手但愿意学习），（b）使用 OpenCV 图像预处理或（c ) 改进我的基本裁剪算法。

示例图像

这是我用于测试的示例图像之一。故意降低照明质量来近似最坏的情况，但是在裁剪时各个代码仍然可以正确检测和解码。

二维码测试​​图片001

标签： pythonimage-processingcomputer-visionqr-code

解决方案

我想我找到了一种简单而可靠的方法，可以检测二维码的角落。但是，我的方法假设 QR 与其周围区域之间存在一些对比（越多越好）。此外，我们必须记住，既不是 100% 可靠的，pyzbar也不opencv.QRCodeDetector是 100% 可靠的。

所以，这是我的方法：

  1. 调整图像大小。经过一些实验后，我得出了pyzbar并非完全尺度不变的结论。虽然我没有可以支持这一说法的参考资料，但我仍然根据经验使用中小型图像进行条形码检测。您可以跳过此步骤，因为它看起来完全是任意的。
image = cv2.imread("image.jpg")
scale = 0.3
width = int(image.shape[1] * scale)
height = int(image.shape[0] * scale)
image = cv2.resize(image, (width, height))
  1. 阈值。我们可以利用条形码在白色表面上通常是黑色的这一事实。对比度越高越好。
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(gray, 120, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

蒙版后的图像 3.扩张+轮廓。这一步有点棘手，如果我的英语在这里不完全清楚，我深表歉意。从上图中我们可以看到，二维码内部的白色之间有黑色空间。如果我们只是找到轮廓，那么 opencv 将假设这些空间是独立的实体，而不是整体的一部分。如果我们想把二维码转换成一个白色的方块，我们必须做一些形态学操作。也就是说，我们必须扩大图像。

# The bigger the kernel, the more the white region increases.
# If the resizing step was ignored, then the kernel will have to be bigger
# than the one given here.
kernel = np.ones((3, 3), np.uint8)
thresh = cv2.dilate(thresh, kernel, iterations=1)
contours, _ = cv2.findContours(thresh, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)

扩张后的阈值 4.过滤并获取边界框。大多数找到的轮廓都太小而无法包含条形码，因此我们必须过滤它们以使我们的搜索空间更小。过滤掉弱候选后，我们可以获取强候选的边界框。

编辑：在这种情况下，我们按区域过滤（小区域 = 弱候选），但我们也可以按检测范围过滤。基本上，范围测量的是对象的矩形，我们可以使用该信息，因为我们知道 QR 码是正方形。我选择了大于 pi / 4 的范围，因为这是一个完美圆的范围，这意味着我们也在过滤掉圆形对象。

bboxes = []
for cnt in contours:
  area = cv2.contourArea(cnt)
  xmin, ymin, width, height = cv2.boundingRect(cnt)
  extent = area / (width * height)
  
  # filter non-rectangular objects and small objects
  if (extent > np.pi / 4) and (area > 100):
    bboxes.append((xmin, ymin, xmin + width, ymin + height))

搜索空间 5.检测条码。我们已将搜索空间缩小到只有实际的二维码！现在我们终于可以使用pyzbar了，不用太担心做条码检测需要太长时间了。

qrs = []
info = set()
for xmin, ymin, xmax, ymax in bboxes:
  roi = image[ymin:ymax, xmin:xmax]
  detections = pyzbar.decode(roi, symbols=[pyzbar.ZBarSymbol.QRCODE])
  for barcode in detections:
     info.add(barcode.data)
     # bounding box coordinates
     x, y, w, h = barcode.rect
     qrs.append((xmin + x, ymin + y, xmin + x + w, ymin + y + height))

不幸的是pyzbar，即使两个条形码都在搜索空间中，也只能解码最大 QR 码 (b'3280406-001') 的信息。关于知道检测到特定代码的次数，您可以使用标准模块中的Counter对象。collections如果您不介意拥有这些信息，那么您可以像我在这里所做的那样使用一组。

希望这会有所帮助:)。

推荐阅读