首页 > 解决方案 > Keras model.predict 函数给出输入形状错误

问题描述

我已经在 Tensorflow 中实现了通用句子编码器,现在我正在尝试预测一个句子的类概率。我也在将字符串转换为数组。

代码:

if model.model_type == "universal_classifier_basic":
    class_probs = model.predict(np.array(['this is a random sentence'], dtype=object)

错误信息:

InvalidArgumentError (see above for traceback): input must be a vector, got shape: []
     [[Node: lambda_1/module_apply_default/tokenize/StringSplit = StringSplit[skip_empty=true, _device="/job:localhost/replica:0/task:0/device:CPU:0"](lambda_1/module_apply_default/RegexReplace_1, lambda_1/module_apply_default/tokenize/Const)]]

欢迎并高度赞赏任何线索、建议或解释。谢谢你 :)

标签: pythontensorflowmachine-learningkerasdeep-learning

解决方案


这并不像你想的那么容易。通常模型需要一个整数向量作为输入。每个整数表示对应词在词汇表中的索引。例如

vocab = {"hello":0, "world":1}

并且您想将句子“hello world”作为输入提供给网络,那么您应该按如下方式构建向量:

net_input = [vocab.get(word) for word in "hello world".split(" ")]

另请注意,如果您使用小批量训练网络,那么您还需要为要馈送到网络的向量添加额外的第一维。您可以使用 numpy 轻松完成此操作:

import numpy as np
net_input = np.expand_dims(net_input, 0)

通过这种方式,您net_input拥有 [1, 2] 的形状,您可以将其输入网络。

仍然有一个问题可能会阻止您向网络提供这样的向量。在训练时,您可能已经为具有精确 len(30、40 个标记)的输入定义了一个占位符。在测试时,如果感觉不到整个句子的长度,则需要以填充句子为代价来匹配该大小,或者如果句子较长则将其剪掉。

您可以截断或添加填充,如下所示:

net_input = [old_in[:max_len] + [vocab.get("PAD")] * (max_len - len(old_in[:max_len])] for old_in in net_input]

这行代码在必要时将输入截断为old_in[:max_len]最大可能的 len(请注意,如果 len 小于 max_len,python 不会做任何事情)并(max_len - len(old_in[:max_len])用填充标记(+ [vocab.get("PAD")])填充 max len 和实际 len()槽之间的差异

希望这可以帮助。

如果您不是这种情况,只需写下对答案的评论,我会尝试找出其他解决方案。


推荐阅读