首页 > 解决方案 > 如何在 Keras 中创建稀疏层(即并非所有神经元都相互连接)?

问题描述

在 Keras 中,如果神经网络中有两个密集层,则第一层的所有神经元都连接到第二层的所有神经元。我可以根据某些权重标准从密集层中删除几个连接,这样结果是一个稀疏层,其中第一层的所有神经元都没有连接到第二层的所有神经元?

我试图将低于阈值的权重减少到零。但这并没有达到从网络中删除/删除权重连接的目的,因为在我重新训练网络后,由于梯度下降,被迫为零的权重重新获得了一些值。

标签: pythonpython-3.xtensorflowkeras

解决方案


您是否尝试过添加辍学?这将在执行更新时将层中的某些权重子集随机重置为 0,听起来就像您想要的那样。这是对抗过拟合的许多不错的方法之一。

https://keras.io/api/layers/regularization_layers/dropout/


推荐阅读