machine-learning - 您如何准确计算卷积神经网络中过滤器的梯度?
问题描述
我从几篇文章中了解到,要计算滤波器的梯度,只需将输入体积作为输入,误差矩阵作为内核进行卷积。之后,您只需用梯度减去过滤器权重(乘以学习率)。我实现了这个过程,但它不起作用。
我什至尝试用笔和纸自己进行反向传播过程,但我计算的梯度并没有使过滤器的性能更好。那么我对整个过程的理解是错误的吗?
编辑:我将提供一个例子来说明我对 CNN 中的反向传播及其问题的理解。
考虑一个卷积层的随机输入矩阵:
1, 0, 1
0, 0, 1
1, 0, 0
和一个随机权重矩阵:
1, 0
0, 1
输出将是(应用 ReLU 激活器):
1, 1
0, 0
该层的目标是一个用零填充的 2x2 矩阵。这样,我们知道权重矩阵也应该用零填充。
错误:
-1, -1
0, 0
通过应用上述过程,梯度为:
-1, -1
1, 0
所以新的权重矩阵是:
2, 1
-1, 1
这无济于事。如果我重复这个过程,过滤器的权重就会达到非常高的值。所以我一定在某个地方犯了错误。那么我做错了什么?
解决方案
我会给你一个完整的例子,不会很短,但希望你能明白。为了简单起见,我省略了偏置和激活函数,但是一旦你得到它,添加它们就足够简单了。请记住,CNN 中的反向传播与简单的 MLP 中的反向传播本质上是相同的,但您将使用卷积而不是乘法。所以,这是我的示例:
输入:
.7 -.3 -.7 .5
.9 -.5 -.2 .9
-.1 .8 -.3 -.5
0 .2 -.1 .6
核心:
.1 -.3
-.5 .7
进行卷积产生(第 1 个卷积层的结果,以及第 2 个卷积层的输入):
.32 .27 -.59
.99 -.52 -.55
-.45 .64 .13
L2内核:
-.5 .1
.3 .9
L2激活:
.73 .29
.37 -.63
在这里,您将有一个展平层和一个标准 MLP 或 SVM 来进行实际分类。在反向传播期间,您将收到一个增量,为了好玩,我们假设如下:
-.07 .15
-.09 .02
这将始终与您在展平层之前的激活大小相同。现在,要计算当前 L2 的内核增量,您将 L1 的激活与上述增量进行卷积。我不再把它写下来,但结果将是:
.17 .02
-.05 .13
更新内核的方式为 L2.Kernel -= LR * ROT180(dL2.K),这意味着您首先旋转上述 2x2 矩阵,然后更新内核。对于我们的玩具示例,结果是:
-.51 .11
.3 .9
现在,要计算第一个卷积层的增量,请回忆一下在 MLP 中您有以下内容:current_delta * current_weight_matrix。那么在 Conv 层,你几乎有相同的。您必须将 L2 层的原始内核(更新前)与当前层的增量进行卷积。但是这个卷积将是一个完整的卷积。结果是:
.04 -.08 .02
.02 -.13 .14
-.03 -.08 .01
有了这个,您将进入第一个卷积层,并将原始输入与这个 3x3 增量卷积:
.16 .03
-.09 .16
并以与上述相同的方式更新您的 L1 内核:
.08 -.29
-.5 .68
然后你可以从前馈重新开始。上述计算被四舍五入到小数点后 2 位,并且使用 0.1 的学习率来计算新的内核值。
TLDR:
你得到一个三角洲
您计算将用于下一层的下一个增量为:FullConvolution(Li.Input, delta)
计算用于更新内核的内核增量:Convolution(Li.W, delta)
转到下一层并重复。
推荐阅读
- autohotkey - 在 Windows 10 上激活始终在线计算器的 AHK 脚本
- druid - 授予对超集中仪表板的只读访问权限
- kubernetes-helm - Helm Registry 登录 ACR
- python - 根据来自不同列 Pandas Dataframe 的值创建列
- go - Parsefloat 在 golang 中以科学格式提供输出
- python - Tkinter 中的平滑帧切换和窗口大小调整
- python - 如何为 3D 条形图制作误差线?
- python - AttributeError:模块'main.views'没有属性'home'
- javascript - 调试器没有从 Visual Studio 中获取更改
- c# - 有没有一种特殊的方法可以在 c# 的类中使用 Random.Next,或者我只是缺少一些基本的东西?