时间戳

首页 > 解决方案 > 如何使用连接到预训练 CNN 的句子嵌入来构建神经网络

python - 如何使用连接到预训练 CNN 的句子嵌入来构建神经网络

问题描述

我想构建一个神经网络，它将从 CNN 的最后一层（例如 VGG 或 resnet）获取特征图，连接一个额外的向量（例如，1X768 伯特向量），并重新训练最后一层分类问题。所以架构应该是这样的： 在此处输入图像描述

但我想为每个特征向量连接一个额外的向量（我有一个句子来描述每一帧）。

我有 5 个可能的标签，输入帧中有 100 个帧。

有人可以帮助我了解如何实现这种类型的网络吗？

标签： pythontensorflowkerasneural-networklstm

解决方案

我建议查看Keras 功能 API。

与顺序模型（通常足以解决许多介绍性问题）不同，函数式 API允许您创建所需的任何非循环图。这意味着您可以有两个输入分支，一个用于 CNN（图像数据），另一个用于您需要做的任何 NLP（与您提到的描述性句子有关）。然后，您可以将这两个分支的组合输出输入网络的最后一层并产生结果。

即使您已经使用 来创建模型models.Sequential()，重写它以使用函数式 API 也不应该太难。

更多信息和实现细节，请看这里的官方文档：https ://keras.io/guides/functional_api/

推荐阅读