python - 生成 XML 输出的 Transformer 模型

Question

我有一个奇怪的具体问题，但希望有人至少可以给出去哪里的想法。

我正在尝试使用转换器（编码器+解码器）模型从 PNG 生成 XML 文件。在某些视频游戏中，您可以使用原始形状层在游戏中生成图像。对于那些难以想象的人，您可以点击此链接，并在页面加载时单击顶部的“试用示例”： https ://malulleybovo.github.io/SymbolArtEditorOnline/ 。此外，您可以通过单击左上角的图标查看它所包含的每一层（每一层都是列表中的一个条目）。

我的模型使用带有相当标准解码器的视觉转换器编码器。我说相当标准，因为我将每一行解码为以下形式的 XML 行（文件类型称为 SAML）：

<layer name="Symbol 0" visible="true" type="346" color="#ebebeb" alpha="1" ltx="-83" lty="-19" lbx="-112" lby="-37" rtx="-50" rty="-21" rbx="-79" rby="-39"/>

其中type是用于该层的原始形状，color 是颜色的十六进制表示，alpha 是透明度，其余的描述形状是如何转换的。为了不只是对层类型进行热编码，我为每个独特的层形状创建嵌入，这些层形状与模型的其余部分一起训练（以顺序、自回归的方式，因为这是一系列 XML 行）。我的模型输出是一个大小的张量（batch、layer_count、embedding_size+12），其中 12 是不是层类型的参数的数量。这造成了一个奇怪的困境，我的问题来自哪里。

因为每一行都是嵌入值和直接来自 XML 行的值的组合，所以我必须使用 2 个不同的损失函数（分别用于嵌入的交叉熵和 L1/L2 损失以及剩余的 12 个值）。为了促进这一点，我必须对张量进行以下操作以计算损失（为简洁起见，代码有点删节）：

x = decoder(input)
emb_out, loc_out = torch.split(x, [unique_layer_cnt, 12], dim=-1)
batch_emb_loss = nn.functional.cross_entropy(emb_out.transpose(1,2), emb_label)
batch_loc_loss = nn.functional.l1_loss(loc_out, loc_label)
print(batch_emb_loss + batch_loc_loss)
batch_emb_loss.backward(retain_graph=True)
batch_loc_loss.backward()

我正在做实验，但损失非常大（接近 10000，但总和超过 225 行），尽管它正在下降，所以它正在收敛。老实说，整个事情感觉就像一个黑客，我觉得不太好，但我似乎想不出任何其他方法来解决这个问题。

这是一个问题吗？如果是这样，我还能如何为每个 XML 行产生损失？我避免对整个输出使用 L1/L2 损失，但它至少会使事情变得更加统一。如果可以这样做，我是否正确地反向传播了错误？我省略了自回归、生成训练和优化器部分的逐行迭代，但这有点标准（我使用了类似于Pytorch 文档的方法）。这甚至可行吗？我认为这是一个伪 NLP 问题，所以我想我可以做到。

任何输入将不胜感激，如果这不是适当解决这个问题的地方或格式，我很抱歉，请让我知道将它移动/删除它的位置。如果您需要更多信息，请告诉我。

提前致谢！

标签： pythonmachine-learningpytorchtransformer