8848ti 2021-10-16 21:43 原文
小组成员
1. 视频学习心得及问题总结
| 姓名 |
学习心得 |
| 熊万富 |
通过视频学习，学习到了许多关于卷积神经网络的知识。在识别、分割、分类，图像生成（GAN网络）等方面，卷积网络都取得了很大的成功。学习到了卷积网络的基本结构，卷积、池化和一些经典的网络与结构，AlexNet、VGG16、VGG19，GoogleNet的Inception和ResNet（解决网络过深与梯度的问题）。神经网络可以通过两种机制减少参数，以便我们用更小的训练集来训练它，从而预防过度拟合。并且卷积神经网络善于捕捉平移不变，这是卷积或卷积网络在计算机视觉任务中表现良好的原因。通过后面的代码练习也了解到了相比传统的神经网络，卷积网络具有巨大的优势。 |
| 刘瀚文 |
CNN的基本应用：分类、检索、检测、分割、人脸识别、人脸表情识别、图像生成、自动驾驶。深度学习三部曲：S1.搭建神经网络结构，S2.找到一个合适的损失函数，S3.找到一个合适的优化函数，更新参数。常用分类损失：交叉熵损失、hinge loss。常用回归损失：均方损失、平均绝对值误差。损失函数是用来衡量吻合度的，可以调整参数、权重，使得映射的结果与实际类别吻合。全连接网络处理图像问题：权重矩阵的参数过多导致了过拟合。CNN的解决方式：局部关联，参数共享。卷积是什么：卷积是对两个实变函数的一种数学操作，在图像处理中，图像是以二维矩阵的形式输入到神经网络的，因此我们需要二维卷积。相关概念：input,kernel,weights,receptive field,feature map,padding,depth,output.池化：保留了主要特征的同时减少参数和计算量，防止过拟合，提高模型泛化能力。一般处于卷积层与卷积层之间，全连接层与全连接层之间。Max pooling，Average pooling。AlexNet成功原因：大数据训练，非线性激活函数，防止过拟合，双GPU实现。 |
| 姜逸飞 |
搭建神经网络，损失函数，优化函数。分类损失：交叉熵损失，hinge loss。回归损失：均方误差，平均绝对值误差。传统神经网络采取全连接方式，需要学习的参数量太多，容易过拟合。卷积神经网络局部关联，参数共享。二维卷积y=WX+b,图像X，滤波器W。池化：保留了主要特征同时减少参数和计算量，防止过拟合。多用于卷积与卷积之间，全连接与全连接之间。DropOut 训练时随机关闭部分神经元，测试时整合所有神经元。数据增强：平移，翻转，对称。改变color channel。VGG 更深的神经网络，参数量约为Alexnet两倍。googlenet 22层，参数量约为Alex net 1/12，包含inception结构。 |
| 张嘉保 |
卷积神经网络主要是由卷积层、池化层、全连接三层组成。基本上实现这三层的功能就足够了，进一步完善可以加入激活层——将卷积层的输出结果进行非线性映射，和经过数据预处理的输入层。卷积即结合卷积公式，建立类似神经元的生物学模型，再加上一堆激活函数、损失函数来修正加工，最后再梯度求导达到帮助AI进行深度学习的目的。我们不需要知道计算机是如何处理图片的，通过确定输入和输出得到结果，再利用激活函数处理非线性关系，用损失函数来对比实际输出结果和理论预期结果，导出误差。对比全连接神经网络，CNN经过数据提取特征，降维，实现减少运算量的效果。 |
| 姓名 |
问题总结 |
| 熊万富 |
如何寻找一个好的定义损失函数的策略。中间层的可视化是怎样得到的，又如何理解。池化层的最大池化与平均池化分别的适用环境。 |
| 刘瀚文 |
为什么卷积能提取特征。我们讨论了“稀疏连接”是使用卷积层的好处。这是什么意思? |
| 姜逸飞 |
梯度消失是什么东西？BP算法是什么?inception结构不理解是什么? |
| 张嘉保 |
模型过拟合，即学习率的数值需要精准。每个图如何卷积过程。 |
2.代码练习
推荐阅读