tensorflow - Tensorflow 2.0 将 nlp 的预处理 tonkezier 保存到 tensorflow 服务器中
问题描述
我已经训练了一个 tensforflow 2.0 keras 模型来进行一些自然语言处理。
我所做的基本上是获取不同新闻的标题并预测它们属于哪个类别。为了做到这一点,我必须对句子进行标记,然后添加 0 以填充数组以具有我定义的相同长度:
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
max_words = 1500
tokenizer = Tokenizer(num_words=max_words )
tokenizer.fit_on_texts(x.values)
X = tokenizer.texts_to_sequences(x.values)
X = pad_sequences(X, maxlen = 32)
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense, Embedding, LSTM, GRU,InputLayer
numero_clases = 5
modelo_sentimiento = Sequential()
modelo_sentimiento.add(InputLayer(input_tensor=tokenizer.texts_to_sequences, input_shape=(None, 32)))
modelo_sentimiento.add(Embedding(max_palabras, 128, input_length=X.shape[1]))
modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2, return_sequences=True))
modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2))
modelo_sentimiento.add(Dense(numero_clases, activation='softmax'))
modelo_sentimiento.compile(loss = 'categorical_crossentropy', optimizer='adam',
metrics=['acc',f1_m,precision_m, recall_m])
print(modelo_sentimiento.summary())
现在一旦受过训练,我想将它部署在例如 tensorflow 服务中,但我不知道如何将这个预处理(tokenizer)保存到服务器中,比如制作一个 scikit-learn 管道,可以在这里做吗?或者我必须保存标记器并自己进行预处理,然后调用训练有素的模型进行预测?
解决方案
不幸的是,您将无法轻松地sklearn
使用 Keras 模型(至少我不知道)做像管道一样优雅的事情。当然,您可以创建自己的 Transformer 来实现您需要的预处理。但鉴于我尝试将自定义对象合并到 sklearn 管道中的经验,我认为这不值得。
您可以做的是将标记器与元数据一起保存使用,
with open('tokenizer_data.pkl', 'wb') as handle:
pickle.dump(
{'tokenizer': tokenizer, 'num_words':num_words, 'maxlen':pad_len}, handle)
然后在你想用的时候加载它,
with open("tokenizer_data.pkl", 'rb') as f:
data = pickle.load(f)
tokenizer = data['tokenizer']
num_words = data['num_words']
maxlen = data['maxlen']
推荐阅读
- c# - 在 linq 表达式中创建新对象时获取列表中的当前索引位置
- export-to-csv - 从 MicroStrategy 中的某个组/项目中检索所有访问权限
- c# - 为什么在 EF Core 中使用 Include(或 ThenInclude)时不需要指定类型?
- html - 如何管理 css 媒体查询网格列
- java - 除以 0 但代码中没有零的错误
- docker - Docker-compose 卷无法按预期工作
- auth0 - auth0 获取后台配置文件信息
- python - 从 Olx 广告中抓取电话号码
- jquery - Jquery如何从开始将数据键推送到数组中
- angular - Angular 8 - 按顺序调用可观察对象