spacy - 如何将现有的拥抱脸变压器模型用于 spacy?
问题描述
我在这里问你们是否可以使用现有的训练有素的抱脸变形器模型和 spacy。
我的第一次天真的尝试是通过 加载它spacy.load('bert-base-uncased')
,它没有工作,因为 spacy 需要某种结构,这是可以理解的。
现在我试图弄清楚如何使用该spacy-transformers
库来加载模型,创建 spacy 结构,并从那时起将其用作普通的 spacy 感知模型。
我不知道这是否可能,因为我找不到有关该主题的任何内容。我尝试阅读文档,但我发现的所有指南、示例和帖子都是从 spacy/en_core_web_sm 之类的 spacy 结构化模型开始的,但是该模型最初是如何创建的?我可以相信有人必须用 spacy 重新训练所有东西。
我能得到你的帮助吗?
谢谢。
解决方案
您所做的是将一个 Transformer 组件添加到您的管道中,并将您的 HuggingFace 模型的名称作为参数提供给它。这在 docs 中有介绍,尽管人们确实很难找到它。重要的是要了解 Transformer 只是 spaCy 管道的一部分,您应该了解它们是如何组合在一起的。
要从文档中提取,这是您在配置中指定自定义模型的方式:
[components.transformer.model]
@architectures = "spacy-transformers.TransformerModel.v3"
# XXX You can change the model name here
name = "bert-base-cased"
tokenizer_config = {"use_fast": true}
回到为什么你需要理解 spaCy 的结构,理解在 spaCy 中,Transformers 只是特征的来源是非常重要的。如果您的 HuggingFace 模型有 NER 头或其他东西,它将无法工作。因此,如果您使用自定义模型,则需要在此基础上训练其他组件,例如 NER。
另请注意,spaCy 有多种非变形金刚内置模型。它们的训练速度非常快,并且在许多情况下可以提供与变形金刚相当的性能;即使它们不那么准确,您也可以使用内置模型来配置您的管道,然后只需换入 Transformer。
我发现的所有指南、示例和帖子都从 spacy/en_core_web_sm 之类的 spacy 结构化模型开始,但是该模型最初是如何创建的?
您看到快速入门了吗?预训练模型是使用类似于您从中获得的配置创建的。
推荐阅读
- javascript - 使用带有导航栏的 window.location.pathname 和 window.location.hash 时渲染组件出现问题
- python - 将TXT文件中的多个列表插入到字典中?,python
- html - 如何将图像定位在容器的底角并保持容器文本围绕它
- azure-devops - 真正寻找示例/用例,何时在 Azure Devops 中使用阶段
- indexing - 根据 ELF 文件过滤 Opengrok 索引
- excel - 比较列返回最大功率查询
- python - telebot,telegram_bot_calendar 装饰器
- javascript - 顶部菜单中的活动指示在用户手动滚动时保持同步
- rust - 为什么自定义过滤器在 log4rs(1.0) 中不起作用?
- r - 闪亮的模块:更新按钮的颜色