时间戳

首页 > 解决方案 > 在 pytorch 或 huggingface/transformer 标签的代码中哪里被“重命名”为标签？

python - 在 pytorch 或 huggingface/transformer 标签的代码中哪里被“重命名”为标签？

问题描述

我的问题是关于这个例子，可以在伟大的 huggingface/transformers 库中找到。

我正在使用图书馆创建者提供的notebook作为我管道的起点。它提出了一个微调 BERT 以在 Glue 数据集上进行句子分类的管道。

进入代码时，我注意到一个非常奇怪的事情，我无法解释。

InputFeatures在示例中，输入数据作为类的实例从此处引入模型：

这个类有4个属性，包括label属性：

class InputFeatures:
    ...
    input_ids: List[int]
    attention_mask: Optional[List[int]] = None
    token_type_ids: Optional[List[int]] = None
    label: Optional[Union[int, float]] = None

随后将其作为输入字典传递给forward()模型的方法。这是由班级完成的Trainer，例如在第 573-576 行中：

    def _training_step(
        self, model: nn.Module, inputs: Dict[str, torch.Tensor], optimizer: torch.optim.Optimizer
    ) -> float:
        model.train()
        for k, v in inputs.items():
            inputs[k] = v.to(self.args.device)

        outputs = model(**inputs)

但是，该forward()方法需要标签（注意复数形式）输入参数（取自此处）：

    def forward(
        self,
        input_ids=None,
        attention_mask=None,
        head_mask=None,
        inputs_embeds=None,
        labels=None,
        output_attentions=None,
    ):

所以我的问题是标签在哪里成为这个管道中的标签？

为了提供有关该问题的一些额外信息，我创建了自己的管道，它不使用任何与 Glue 数据和管道相关的内容，基本上它仅依赖于Trainer转换器类。我什至使用另一个模型（福楼拜）。我复制了 InputFeature 类，我的代码适用于以下两种情况：

class InputFeature:
    def __init__(self, text, label):
        self.input_ids = text
        self.label = label

class InputFeaturePlural:
    def __init__(self, text, label):
        self.input_ids = text
        self.labels = label

self.labe但是，如果我将第二个属性命名为或任何其他名称，则它不起作用。为什么可以同时使用两个属性名称？

在我的情况下，这并不是非常重要，但我对传递变量中的数据感到不舒服，这会在某个地方“更改名称”。

标签： pythonpytorchhuggingface-transformers

解决方案

重命名发生在collator. 在trainer init 中，当data_collatoris时None，使用默认值：

class Trainer:
    # ...
    def __init__(...):
        # ...
        self.data_collator = data_collator if data_collator is not None else default_data_collator
        # ...

仅供参考，self.data_collator稍后在您获取dataloader时使用：

data_loader = DataLoader(
    self.train_dataset,
    batch_size=self.args.train_batch_size,
    sampler=train_sampler,
    collate_fn=self.data_collator,              # <-- here
    drop_last=self.args.dataloader_drop_last,
)

默认整理器对标签有特殊处理，如果需要，它会进行重命名：

# Special handling for labels.
# Ensure that tensor is created with the correct type
# (it should be automatically the case, but let's make sure of it.)
if hasattr(first, "label") and first.label is not None:
    if type(first.label) is int:
        labels = torch.tensor([f.label for f in features], dtype=torch.long)
    else:
        labels = torch.tensor([f.label for f in features], dtype=torch.float)
    batch = {"labels": labels}  # <-- here is where it happens
elif hasattr(first, "label_ids") and first.label_ids is not None:
    if type(first.label_ids[0]) is int:
        labels = torch.tensor([f.label_ids for f in features], dtype=torch.long)
    else:
        labels = torch.tensor([f.label_ids for f in features], dtype=torch.float)
    batch = {"labels": labels}
else:
    batch = {}

推荐阅读