opengl - 在 pyBullet 中模拟失真的相机
问题描述
我正在尝试根据从校准真实相机获得的内在和外在参数在 pyBullet 中配置相机。
我有的
相机用OpenCV校准,给我一个相机矩阵
|f_x 0 c_x|
| 0 f_y c_y|
| 0 0 1 |
和失真系数向量
(k_1, k_2, p_1, p_2, k_3)
(我还有相机的姿势,但这与实际问题无关,所以我把它放在这里。)
我已经做过的
不幸的是computeProjectionMatrix
,pyBullet 的功能有点受限。它假设f_x = f_y
并且c_x, c_y
恰好位于图像的中心,这对于我的相机来说都是不正确的。因此,我自己计算投影矩阵如下(基于此):
projection_matrix = [
[2/w * f_x, 0, (w - 2c_x)/w, 0],
[0, 2/h * f_y, (2c_y - h)/h, 0],
[0, 0, A, B],
[0, 0, -1, 0],
]
其中w,h
是图像的宽度和高度A = (near + far)/(near - far)
,B = 2 * near * far / (near - far)
和near
定义far
图像中包含的 z 轴范围(请参阅pybullet.computeProjectionMatrix
)。
还缺少什么(我的实际问题)
以上已经给了我更好的结果,但是渲染的图像仍然与真实图像不完全匹配。我怀疑造成这种情况的一个原因可能是没有考虑失真。
所以终于来到我的问题:
如何使用从校准真实相机中获得的参数来实现模拟相机的失真?
有没有办法可以将它整合到投影矩阵中?如果没有,还有其他方法吗?
解决方案
正如评论中所指出的,非线性失真不能集成到矩阵中。我现在正在做的是首先渲染图像而不失真,然后在第二步中使用此答案中的代码扭曲生成的图像。
由于失真,图像会缩小一点,因此当保持图像大小固定时,图像边缘会出现一些空白区域。为了弥补这一点,我将图像渲染为比所需尺寸稍大的尺寸,然后在扭曲后裁剪。(c_x, c_y)
请注意,在增加尺寸时需要相应地调整中心点。
用一些伪代码来说明:
desired_image_size = (width, height)
# add 10% padding on each size
padding = desired_image_size * 0.1
render_image_size = desired_image_size + 2 * padding
# shift the centre point accordingly (other camera parameters are not changed)
c_x += padding[0]
c_y += padding[1]
# render image using the projection_matrix as described in the question
image = render_without_distortion(projection_matrix, camera_pose)
image = distort_image(image)
# remove the padding
image = image[padding[0]:-padding[0], padding[1]:-padding[1]]
这导致图像与真实相机的图像非常匹配。
完整的实现可以在这里找到。
推荐阅读
- c# - Newtonsoft JSON,检查属性及其值是否存在
- java - 使用 URL 访问注册页面时出现问题
- avaloniaui - 是否可以在 Avalonia 中注册服务?
- c# - 如何限制 C# ReadKey 条目?
- python - 从 Python 中的另一个目录加载 JSON 文件
- mysql - 构建 Builder 时抛出了以下断言:在构建期间调用了 setState() 或 markNeedsBuild()?
- cmake - QtCreator 更新后无法运行 CMake
- javascript - Bootstrap 4 开关更改事件将不起作用
- r - 排序数据框并计算列的即时值
- python - django中reverse()中的url名称和视图名称有什么区别?