python - 如何在 Keras 中创建稀疏层(即并非所有神经元都相互连接)?
问题描述
在 Keras 中,如果神经网络中有两个密集层,则第一层的所有神经元都连接到第二层的所有神经元。我可以根据某些权重标准从密集层中删除几个连接,这样结果是一个稀疏层,其中第一层的所有神经元都没有连接到第二层的所有神经元?
我试图将低于阈值的权重减少到零。但这并没有达到从网络中删除/删除权重连接的目的,因为在我重新训练网络后,由于梯度下降,被迫为零的权重重新获得了一些值。
解决方案
您是否尝试过添加辍学?这将在执行更新时将层中的某些权重子集随机重置为 0,听起来就像您想要的那样。这是对抗过拟合的许多不错的方法之一。
推荐阅读
- r - r cor spearman 处理缺失值
- r - 遍历数据框时为空 ggplot
- css - 如何去除页面右侧的空白
- session - 我们可以使用现有的 OWASP ZAP 会话来测试新版本吗?
- linux - 如何在匹配第一次出现的单词之间打印所有行?
- react-native - 当用户在 react-native 中输入任何值时如何在 TextInput 中添加“$”符号
- node.js - 如何关闭与 mqtt 客户端 node.js 的连接
- katalon-studio - 使用变量 ${} 后定义的值进行查询
- c++ - 异常是返回不同类型的合理方式吗?
- python - 如何从数字数据类型转换为单词(字符串数据类型)