neural-network - 如果我们从最后一层一次更新一个反向传播中的参数怎么办？
问题描述
假设我们有一个具有一个输入层、一个输出层和一个隐藏层的神经网络。我们将输入到隐藏的权重称为 ，将隐藏到输出的权重称为 。假设我们已经初始化 和 ，并通过前向算法/通过神经网络运行它们。假设我们已经通过反向传播进行了更新。现在不是同时更新，如果我们使用 new 计算梯度，然后同时更新两者。然后再一次前向传递，计算梯度，更新，计算新梯度，同时更新，等等。我已经这样做了，它导致了成本函数的更快收敛。
解决方案
推荐阅读
- excel - Excel 查找/搜索函数返回假阴性
- java - java.lang.NoSuchMethodError: 'void org.springframework.util.Assert.state(boolean, java.util.function.Supplier)'
- python - 基于多种条件的风格熊猫？
- java - 将 XML 对象持久保存到数据库中的现代方法是什么？
- c++ - 在 lambda 表达式中使用 std::atomic
- ios - 如何在 SwiftUI 中更改状态栏背景颜色
- prolog - 如何从prolog中的变量列表中删除变量？
- php - Laravel 5.4 中未定义的 PHP 紧凑方法
- sql - 如何在 SQL Server 的表中插入自定义日期？
- mongodb - 升级 Mongo DB 错误 - “不支持的 WiredTiger 文件版本”