python - Unity + OpenCV + Python(集成)
问题描述
需要将 Unity3d 和 OpenCV 结合起来(最好使用 NumPy,因为函数也会从那里使用,这意味着还需要 +Python)。主要思想是将来自相机的图像从 Unity 传递到 OpenCV 进行处理,然后将动作发送回 Unity。
我尝试了许多变体,通过从 RenderTexture (Unity) 获取图片字节流并将其发送到 websockets 上的 python 服务器。一切正常,传输速度可以接受,但是在纹理的“拍照”期间需要大量资源并且Unity的主线程挂起......所以我得到5 fps,这并不好。我想以正确的方式重写它:要么将openCV集成到unity中,要么从视频内存中提取纹理(但那是可怕的C++和openGL,我想要python,因为我需要numPy)。
我尝试使用 FMETP STREAM 进行流式传输(它尚未启动前端,这意味着它可以工作,但图像未显示在浏览器中),然后放入 IronPython openCV 并在 C# 中使用它们(我无法以任何方式安装 opencv),试过了为 C# 放置模块:OpenCVSharp(这个包似乎没问题)、NumSharp(缺少在项目中使用的一些方法)和套接字图像传输方法(有效,但非常长且滞后)。..在每个变体中都尝试并彻底研究了几乎所有内容。
其实我是想请教一下,选哪个集成比较好,怎么做比较好?
我用来将图像字节发送到 python 服务器的代码:https ://pastebin.com/pRyutRcj
WebSocket ws;
void Start () {
ws = WebSocketFactory.CreateInstance("ws://localhost:12345");
// ...
// Connect to the server
ws.Connect();
InvokeRepeating("Capture", 1f, 0.2f); //1s delay, repeat every 1s
}
public void Capture()
{
RenderTexture activeRenderTexture = RenderTexture.active;
RenderTexture.active = Camera.targetTexture;
Camera.Render();
Texture2D image = new Texture2D(Camera.targetTexture.width, Camera.targetTexture.height);
image.ReadPixels(new Rect(0, 0, Camera.targetTexture.width, Camera.targetTexture.height), 0, 0);
image.Apply();
RenderTexture.active = activeRenderTexture;
byte[] bytes = image.EncodeToPNG();
Destroy(image);
ws.Send(bytes);
}
解决方案
您最初的解决方案是统一运行主线程中的所有内容。因此,它将按预期滞后。而且您正在编码为PNG,数据将是巨大的。
在FMETP STREAM中,他们使用了多线程编码器,这至少可以解决您的性能问题。这就是为什么它可以在低端设备和 VR 耳机上流畅运行的原因。
输出 byte[] 是 jpeg 块,而不是一个图像。它是为 UDP 数据包大小限制而设计的。
如果您尝试自己解码FMETP STREAM的图像,则必须将这些 byte[] 组合成一个完整的 jpeg。在 C# 中引用他们的解码器不会太难。
PS:如需技术支持,请直接联系开发者。
推荐阅读
- php - 是否可以在 PHP 中的函数内创建变量?
- postgresql - 从 for 循环 postgres 返回选择
- php - 作曲家需要差异
- webots - 如何在 webbots 的预定义机器人中添加笔节点
- laravel - 如何在 PhpStorm 中将类路径注释为类名?
- r - 使用ggplot没有标签的小刻度线
- mysql - 如何根据同一查询中的不同条件计算行数?
- spring-boot - Spring JPA Criteria API 无法访问子类中的属性
- python - 如何在 python 中为一定数量的行训练模型?
- swift - ImagePicker 的编辑图像未显示在 ImageView 中