首页 > 解决方案 > 如何使用 BERT 将非英文文本翻译成英文

问题描述

我正在尝试使用 BERT 将非英语文本翻译成英语。到目前为止,我使用的代码如下 -

from pytorch_pretrained_bert.file_utils import 
PYTORCH_PRETRAINED_BERT_CACHE, WEIGHTS_NAME, CONFIG_NAME
from pytorch_pretrained_bert.modeling import BertForSequenceClassification, 
BertConfig
from pytorch_pretrained_bert.tokenization import BertTokenizer
from pytorch_pretrained_bert.optimization import BertAdam, 
WarmupLinearSchedule


tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-uncased')
text = "La Banque Nationale du Canada fête cette année le 110e anniversaire 
        de son bureau de Paris."
marked_text = "[CLS] " + text + " [SEP]"
tokenized_text = tokenizer.tokenize(marked_text)


token_no=[]
for token in tokenized_text:
    #print(tokenizer.vocab[token]) 
    token_no.append(tokenizer.vocab[token])


# The below code obtains the tokens from the index
new_token_list=[]
for i in token_no:
    new_token_list.append(list(tokenizer.vocab.keys())[i])

print(new_token_list); 

在此之后,我很困惑如何获得文本的英文翻译?我走对了吗?

标签: python-3.xdeep-learning

解决方案


推荐阅读