tensorflow - 如何使用 tensorflow 图形优化图像空间?
问题描述
我正在尝试设置一个复制此站点上第三个数字的玩具问题: https ://www.tensorflow.org/graphics/overview
如图所示,损失函数在 2 张图像之间。如何设置这样一个问题?
我非常仔细地浏览了他们 github 网站上的每个 tensorflow colab notebook。有两个例子接近我试图做的,第一个是 6dof 估计,第二个是相机内在函数估计。然而,这两个问题都使用 l2 范数在顶点上进行了优化。如何获得 tensorflow 图形来渲染假设的对象并执行 2 个图像之间的差异(地面实况和 tfg 渲染)。一个小玩具示例将非常有帮助,特别是因为 tfg 网站的图 3 显示了这个示例。
编辑1:经过一些研究,我正在寻找的东西似乎是一个可微的光栅化器。我使用光栅器将场景合成为图像(2d 地图)。获得该图像后,我可以将其与我的基本事实进行区分(使用我最喜欢的函数,如 l2norm、l1norm 或可微分 ssim)。张量流图形是否具有可微分的光栅化器?
解决方案
答案是你必须先计算光线,然后再计算辐照度。您可以通过使用从每个虚拟像素发出的光线网格来做到这一点。
但是,请注意,光栅化器虽然可微分,但不支持阴影。在张量流图形样本(例如球体和牛)中使用分面和 bdrf 来处理遮挡。
推荐阅读
- javascript - jQuery data() 有一个空对象,导致数据检索失败
- javascript - jquery.cardswipe 插件演示回调到成功函数不适用于读卡器
- javascript - Ajax POST 在 safari 中有效,但在其他浏览器中无效
- leaflet - GeoJSON MultiPoint 未显示在地图上
- spring-batch - 将 Spring 批处理用于未计划的过程?
- laravel - 当我安装 laravel 时我应该怎么做
- spring - Spring JPA 使用数据库时间戳进行插入
- ruby - 正则表达式匹配子字符串并返回特定分隔符之间的字符串
- javascript - 如何填充 twilio 传真结果数组并通过快递发送?
- android - WebView kotlin 上传文件摄像头和存储