neural-network - 什么是广义前馈神经网络 (GFF)？

Question

我在一些研究论文中遇到了 GFF 这个词。我在https://www.semanticscholar.org/paper/The-Systematic-Trajectory-Search-Algorithm-for-the-Chen-Tseng/5c01686a41c31a6b7a9077edb323ed88cf158a98在 GFF 上找到了一条线，上面写着“......链接不仅限于从一层到下一层”。是不是一层的一部分链接可以跳过下一层并馈送到另一个不相邻的层？如果是这样，那么相邻层的链接会做什么？任何人都可以了解这种类型的网络吗？

标签： neural-networkartificial-intelligence

Answer 1

我不确定你在哪里感到困惑。图 1 中的插图对我来说很容易阐明。是的，一个链接可以从任何层到任何更高层；链接不限于下一层。请注意输入层中的节点 1 如何驱动三层中的每一层以及输出层中的隐藏节点。[我会坚持使用节点 1；四个输入节点在拓扑上是相同的。]

我不确定您在哪里与“相邻层的链接”混淆。根据您的使用情况，我了解到您将链接称为源节点所在层所拥有的链接。例如，从节点 5 到节点 8 的链接“属于”第一个（最低）隐藏层，而不是输出层。

使用这种用法，让我们看一个特定的案例：从节点 1 到节点 6（中间隐藏层）的链接，跳过最低隐藏层（由节点 5 组成）。为了便于说明，让我们忽略节点 1 的其他链接。现在，节点 1 仅驱动节点6，直接从输入层驱动它。这个跳过根本不影响其他链接：它们继续做它们所做的事情：将源节点的值驱动到目标节点的线性方程中。节点 5 继续是其他输入节点的函数；节点 5 继续驱动节点 6、7 和 8。

也许你的担忧可以通过在每一层被跳过的“虚拟”节点来缓解。同样，让我们​​关注从节点 1（到节点 5、6、7、8）的链接。让我们在低、中、高隐藏层中添加节点 1.2、1.3 和 1.4，而不是让节点 1 跳过层。替换节点 1 中的“船长”链接。改为使用这些链接，从顶部（输出）到底部（输入）

1.4 -> 8
1.3 -> 1.4
1.3 -> 7
1.2 -> 1.3
1.2 -> 6
1   -> 1.2
1   -> 5

在序列 1 -> 1.2 -> 1.3 -> 1.4 中，所有链接（边）权重均为 1，偏差为 0。您现在拥有具有相同代数属性的拓扑，并且没有链接跳过一层。

请注意，任何有限的非循环网络都是 GFF。“层”是我们设计的便利；拓扑仅通过从输入节点到节点的最长路径和到输出节点的最长路径来限制节点的“层”。它可以帮助我们将节点组织成层以用于我们自己的目的、时间、调试等，但通用流模拟器并不关心。它只关心哪些节点驱动哪些其他节点，以及给定节点是否具有在下一个计算周期驱动其输出链路所需的所有输入。

这有帮助吗？