android - 有没有办法在 ArCore 人脸跟踪中使用带有 AugmentedFaceNodes 的 ViewRenderables？

Question

我正在开发一个应用程序来识别人脸并显示有关此人的医疗信息。我的目标是在人脸附近的 ViewRenderable 中显示 AR 中的信息。有没有办法像我们在基于平面的 AR 的情况下那样使用面部作为锚点？

Augmented Faces 示例仅显示正在使用的 ModelRenderables，这对我的情况并没有真正的帮助。

标签： androidaugmented-realityarcoresceneform

Answer 1

完成任务的最佳方法可能是使用AugmentedFace 类的getCenterPose()函数来跟踪面部中心并相对于该姿势放置内容。另一种方法是在 ARCore 片段中添加一个叠加层，其中包含一个部分，您可以在应用识别人脸时在其中放置上下文医疗信息。

我没有使用增强面功能，但我怀疑如果不使用另一个专注于机器学习/深度学习的框架，它就无法区分不同的人脸。只需对此进行一些检查。

锚点需要放置在由相机获取的图像的不可变特征生成的特定真实空间位置上。不可变特性意味着锚点与您在特定时间看到的内容紧密耦合。

因此，使用随时间移动很多的对象并不是一个好主意，因为它会改变图像的特征数量，并且可能会给电话跟踪过程带来问题。我认为这是您仅在放置锚后才将对象放置在真实空间中的原因之一。文档还说，不可能将锚点放在增强的脸上。在此处输入链接描述

希望这能给你一些提示。