时间戳

首页 > 解决方案 > 将 Python Keras NLP 模型转换为 Tensorflowjs

tensorflow - 将 Python Keras NLP 模型转换为 Tensorflowjs

问题描述

我正在尝试了解有关 Tensorflowjs 的更多信息，但遗憾的是，我无法将我的 Keras NLP 模型转换为 Tensorflowjs。

这就是我要转换的内容：

from keras.models import load_model

from keras.preprocessing.sequence import pad_sequences

import pickle

list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]

model = load_model('Keras_Model/m.hdf5')
with open('Keras_Model/tokenizer.pkl', 'rb') as handler:
    tokenizer = pickle.load(handler)

list_sentences_train = ["I need help Stackoverflow"]

list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train)
maxlen = 200
X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)


pred = model.predict(X_t)[0]

Tensorflowjs 方面：

import tf = require('@tensorflow/tfjs-node')

async function processModel(){
  const model = await tf.loadLayersModel('Server_Model/model.json');
}

如何让 Tokenizer 运行并做出正确的预测？

标签： tensorflowkerastensorflowjs-convertertensorflowjs

解决方案

实际上，我在 Android 上对文本进行分类时遇到了同样的问题。我已经准备好使用模型（ tflite ），但是如何像 Keras 在 Python 中那样对句子进行标记。

我找到了一个我在这里讨论过的简单解决方案（适用于 Android）。

简单的想法是将keras.preprocessing.text.Tokenizer 词汇表转换为 JSON 文件。这个 JSON 文件可以用包括 JavaScript 在内的任何编程语言进行解析。

Tokenizer 拥有一个名为 的对象word_index。

index = tokenizer.word_index

word_index 对象是一个可以转换为 JSON 的字典，例如，

import json 
with open( 'word_dict.json' , 'w' ) as file:    
    json.dump( tokenizer.word_index , file )

JSON 文件包含成对的词和索引。您可以按照此链接中的说明在 JavaScript 中解析它。

推荐阅读