卷积神经网络

1、DNN能用到计算机视觉上吗，为什么需要CNN？

2、卷积神经网络和人工神经网络的差异在哪？

开始：

假设一张图片大小是1000×1000×3，其中3表示RGB通道数是3，是彩色图，使用传统的DNN网络，输入input是3×10的6次，假设第二层参数比较小的情况下，是4000个节点，那这一层的参数量

也达到了1.2×10的10次，有两方面的问题：

1、工程方面的问题，消耗大量计算资源；

2、模型参数量过大，会带来过拟合的问题；

那么，如何在保持学习能力的情况下，又使得参数量得到下降呢？

答案就是使用卷积神经网络。。

输入

一张图片不可能不经过处理就放到网络中，预处理方法有去均值和归一化。

去均值是指把输入数据各个维度都中心化到0，在AlexNet中采用的方式是：对训练集每个图片的矩阵都减去训练集的均值，对测试集的每个图片的矩阵也减去训练集的均值；

VGGNet中采取的方式是：对训练集所有图片的三个通道求均值，然后再用每个图片三个通道的均值减去这个均值，最后得到三个数

卷积计算层

参数共享机制

假设每个神经元连接数据窗的权重是固定的；每个神经元只关注一个权重（每个神经的通道数与输入通道数对应）

由此机制，需要估算的权重个数减少

一组固定的权重和不同窗口内数据做内积————卷积

激励层

1、CNN慎用sigmoid!

2、首先试RELU，

3、如果2失效，用Leaky Relu或者Maxout

4、某些情况下tanh会有不错的效果

池化层

有Max pooling和average pooling两种，起到降维和降低过拟合的风险

一般图形识别用Max pooling

全连接层

两层之间所有神经元都有权重连接

通常在卷积神经网络尾部