scenekit - 使用 coreML 进行 SceneKit 样式转换

Question

目标：使用 coreML 进行 SceneKit 风格迁移

如何：从 SceneKit 帧中获取 CVPixelBuffer，就像下面的 WWDC 视频： https ://developer.apple.com/videos/play/wwdc2020/10642/

尝试过：我尝试访问 SCN 帧，但似乎无法访问 CVPixelBuffer

问题：如何从 SceneKit 帧中获取 CVPixelBuffer？或者有没有更好的方法在 SceneKit 中进行样式转换？

标签： scenekitcoreml

Answer 1

我发现有这样的描述。

在这里，我使用不同的样式对虚拟对象纹理进行离线样式化，但我想做更多。

我认为它通过matel显示虚拟对象纹理。我尝试通过CIImage获取CVPixelBuffer，通过arView.renderCallbacks.postProcess处理得到实时处理效果，比获取视频处理方便多了，但是如何通过matel处理数据我不太清楚，希望有人可以提供更多信息。

你可以参考这个演讲视频 https://developer.apple.com/videos/play/wwdc2021/10075/