python - 统一文本和图像分类（Python）

我正在研究对科学文章文本进行分类的代码（使用标题和摘要）。为此，我使用了 SVM，它提供了良好的准确度 (83%)。同时我使用 CNN 对这些文章的图像进行分类。我的想法是将文本分类器与图像分类器合并，以提高准确性。

有可能的？如果是这样，您会对我如何实施它或某种指导方针有所了解吗？

谢谢！

标签： pythonmachine-learningclassificationtext-classification

你可以使用 CNN 来做这两件事。为此，您需要两个（甚至三个）输入。一个用于文本（或两个用于摘要，另一个用于标题），第二个用于图像输入。然后，在将它们合并到某个点之前，您将拥有一些 conv-max 池化层。然后插入一些额外的 CNN 或密集层。

您还可以在此模型中有多个输出。例如，一个组合的，一个用于文本，一个用于图像。如果您使用的是 keras，则需要功能 API。可以在此处找到示例模型的图片（他们在示例中使用 LSTM，但我想您应该坚持使用 CNN。）