iphone - 如何在 Unity 中离线调试增强现实？

Question

我想知道是否有办法从我的 iPhone 记录传感器和视频数据，以某种方式保存，然后将其输入 Unity 以测试 AR 应用程序。

我想看看不同算法在相同输入上的表现如何，而当唯一的测试方法是拿起我的手机并挥动它时，这很难做到。

标签： iphoneunity3daugmented-reality

Answer 1

您可以做的是捕获图像缓冲区。我使用 ARCore 做了类似的事情。不确定 ARKit 是否有类似的实现。我在进行简短搜索时发现了这一点https://forum.unity.com/threads/how-to-access-arframe-image-in-unity-arkit.496372/

在 ARCore 中，您可以获取此图像缓冲区并使用ImageConversion.EncodeToPNG创建带有时间戳的 PNG 文件。您可以并行提取传感器数据。根据您的需要，您可以使用类似的方法将其写入文件：https: //support.unity3d.com/hc/en-us/articles/115000341143-How-do-I-read-and-write-来自文本文件的数据

之后，您可以使用 FFMPEG 将这些 PNG 转换为视频。如果您想尝试不同的算法，很有可能仅使用 PNG 就足够了。否则，您可以使用如下命令：http: //freesoftwaremagazine.com/articles/assemble_video_png_stream_ffmpeg/

您应该能够将这些图像和相应的传感器数据传递给您的算法进行检查。