python - 用于图像合成的动态关键点标注

Question

我目前正在做一个项目，我需要估计医院病床上的人的姿势，这意味着很多遮挡物和受试者只能部分看到。

至于现在我已经注释了数据并分割了图片中的人。我的注释是 COCO 风格的：它们是具有 [X,Y] 坐标的关键点，给出了图片中每个人的关节坐标。

预训练模型显示的结果非常有限，我需要创建自己的数据库。但我想避免整个花费三周的注释部分并综合生成带注释的数据。

我的问题是我的数据上的注释有他们自己图片的坐标（有意义），我想把分割区域（里面有注释）放在另一张图片上。分割不会在新图片上完全相同的位置，这意味着注释不会精确定位关节的正确 [X,Y] 坐标。所以我需要找到一种方法来翻译分割参考中的注释（可能是分割的最左边的最高点）。

现在我想到的是：

• 手动分割〜50-80个预注释图像以提取前景（=床上的人）

• 应用齐次变换将注释的参考框架从 original_img 更改为 mask

• 通过将分割部分（带注释的人）添加到背景（医院病床）来生成合成图像

• 应用同质变换将注释的参考框架从 mask 更改为 new_img

• 对注释坐标重新应用同质变换，以在新的合成图像中将它们重新转换为 coco 样式

整个过程可能很乏味（主要是为了解析 json 注释文件），所以你能告诉我是否没有更简单的方法可以做到这一点，或者是否有人还没有这样做？

谢谢您的回答

如果您想要更精确的可可注释：https ://www.immersivelimit.com/tutorials/create-coco-annotations-from-scratch/#create-custom-coco-dataset

标签： pythonannotationspose-estimationkeypointocclusion