machine-learning - ARKit 图像检测 - 许多图像

Question

我需要制作一个应用程序来检测图像及其位置，并AR在其上显示内容。这些图像会在应用程序的生命周期内发生变化，并且可能有很多。我想知道如何设计这种应用程序。ARKit可以提供此功能 - 检测图像及其方向，并AR在其上显示内容。但问题是ARKit一次只能检测有限数量的图像。例如，如果我有 300 张图像，那么可能会出现问题。也许我可以准备一些ML数据集来预先检测图像，然后将其分配为ARKit动态跟踪？这是正确的方法吗？我还能做些什么来制作这样一个具有动态和大量图像来检测的应用程序？

标签： machine-learningcomputer-visionarkitimage-recognitioncoreml

Answer 1

关于一种ML方法，您可以使用几乎任何最先进的对象检测网络来提取所需目标的近似坐标并提取帧的该部分，将阳性结果传递给 ARKit 或类似方法。缺点是培训可能是资源密集型的。它可以工作，但我不能说它相对于其他方法的效率。

为了扩展这个解释，我看到 ARKit 2.0 处理（似乎是）你正在尝试做的事情；这还不够吗？

为了在评论中回答您的问题，CoreML 似乎提供了用于对象识别但不提供本地化的模型，因此我怀疑在训练诸如这些的模型之后有必要使用他们的转换器。该网络的输入将是来自相机的帧，输出将是具有检测概率和近似坐标的检测类别；如果您的目标存在，以及它们的大致位置。

不过，如果您正在寻找 2D 图像而不是 3D+ 对象，尤其是如果它是一个 ARKit 应用程序，那么看起来 ARKit 的内置跟踪将在显着降低开发成本的情况下更有效。