python - AttributeError：模块转换器没有属性 TFGPTNeoForCausalLM

Question

我克隆了这个存储库/文档https://huggingface.co/EleutherAI/gpt-neo-125M

无论是在谷歌协作还是本地运行，我都会收到以下错误。我还使用它安装了变压器

pip install git+https://github.com/huggingface/transformers

并确保配置文件命名为 config.json

      5 tokenizer = AutoTokenizer.from_pretrained("gpt-neo-125M/",from_tf=True)
----> 6 model = AutoModelForCausalLM.from_pretrained("gpt-neo-125M",from_tf=True)
      7 
      8 

3 frames
/usr/local/lib/python3.7/dist-packages/transformers/file_utils.py in __getattr__(self, name)

AttributeError: module transformers has no attribute TFGPTNeoForCausalLM

完整代码：

from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M",from_tf=True)

model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-125M",from_tf=True)

变压器-cli 环境结果：

• transformers版本：4.10.0.dev0
• 平台：Linux-4.4.0-19041-Microsoft-x86_64-with-glibc2.29
• Python版本：3.8.5
• PyTorch 版本（GPU？）：1.9.0+cpu（假）
• TensorFlow 版本（GPU？）：2.5.0（假）
• Flax 版本（CPU？/GPU？/TPU？）：未安装（NA）
• Jax 版本：未安装
• JaxLib 版本：未安装
• 在脚本中使用 GPU？：
• 在脚本中使用分布式或并行设置？：

协作和本地都有 TensorFlow 2.5.0 版本

标签： pythonpytorchhuggingface-transformersgptgpt-3

Answer 1

尝试不使用from_tf=True如下标志：

from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M")

model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-125M")

from_tf期望pretrained_model_name_or_path（即第一个参数）是从中加载保存的 Tensorflow 检查点的路径。