ios - MPSImageFindKeypoints 检测到什么样的关键点？

Question

Apple 文档提到了一个名为 MPSImageFindKeypoints 的 Metal 内核，但没有关于它是什么特性的信息。从参数来看，它看起来类似于 FAST 关键点。该内核由哪种算法提供支持？

这些功能是 ARKit 使用的功能吗？（可通过 rawFeaturePoints 访问）

标签： ioscomputer-visionarkitmetal

Answer 1

MPSImageKeyPoints 过滤器是一种优化的高斯减法特征提取算法，最适用于 blob。我相信您知道 blob 具有高斯分布特征，因此术语高斯减法作为基本过程，可以优化为高斯金字塔，进一步优化为拉普拉斯金字塔减法。过程如下：

1-更改原始图像的曲线/对比度 2-在原始图像上为您的内核设置一堆具有 n sigma 距离的高斯模糊 3-从原始图像中减去每个模糊图像 4-在堆栈中获取阈值最大值包括 x 和 y 的图像以及堆栈中表示半径坐标的图像索引 5-在堆栈中的该位置（例如黑色表示星星）绘制 6-重复该过程，直到您的值超出阈值

因此，它最适合用于为特定应用寻找重要特征的后期过滤过程。一些想到的是在一堆天文曝光图像上提取星星以避免“星迹”效应，或者创建逐帧动作捕捉类型的关节定位，球附着在演员的身体上，或者甚至可能提取椭圆斑点，可能发生在自然/合成环境中。