吴恩达 DeepLearning.ai 课程提炼笔记（4-1）卷积神经网络 --- 卷积神经网络基础

1. 计算机视觉

计算机视觉（Computer Vision）包含很多不同类别的问题，如图片分类、目标检测、图片风格迁移等等。

对于小尺寸的图片问题，也许我们用深度神经网络的结构可以较为简单的解决一定的问题。但是当应用在大尺寸的图片上，输入规模将变得十分庞大，使用神经网络将会有非常多的参数需要去学习，这个时候神经网络就不再适用。

卷积神经网络在计算机视觉问题上是一个非常好的网络结构。

2. 边缘检测示例

卷积运算是卷积神经网络的基本组成部分。下面以边缘检测的例子来介绍卷积运算。

所谓边缘检测，在下面的图中，分别通过垂直边缘检测和水平边缘检测得到不同的结果：

垂直边缘检测：

假设对于一个 $6\times6$ 大小的图片（以数字表示），以及一个 $3\times3$ 大小的 filter（卷积核）进行卷积运算，以“ $*$ ” 符号表示。图片和垂直边缘检测器分别如左和中矩阵所示：

filter 不断地和其大小相同的部分做对应元素的乘法运算并求和，最终得到的数字相当于新图片的一个像素值，如右矩阵所示，最终得到一个 $4\times4$ 大小的图片。

边缘检测的原理：

以一个有一条垂直边缘线的简单图片来说明。通过垂直边缘 filter 我们得到的最终结果图片可以明显地将边缘和非边缘区分出来：

卷积运算提供了一个方便的方法来检测图像中的边缘，成为卷积神经网络中重要的一部分。

多种边缘检测：

垂直和水平边缘检测

更复杂的 filter

对于复杂的图片，我们可以直接将 filter 中的数字直接看作是需要学习的参数，其可以学习到对于图片检测相比上面filter更好的更复杂的 filter ，如相对于水平和垂直检测器，我们训练的 filter 参数也许可以知道不同角度的边缘。

通过卷积运算，在卷积神经网络中通过反向传播算法，可以学习到相应于目标结果的 filter，将其应用于整个图片，输出其提取到的所有有用的特征。

卷积和互相关：

在数学定义上，矩阵的卷积（convolution）操作为首先将卷积核同时在水平和垂直方向上进行翻转，构成一个卷积核的镜像，然后使用该镜像再和前面的矩阵进行移动相乘求和操作。如下面例子所示：

在深度学习中，我们称为的卷积运算实则没有卷积核变换为镜像的这一步操作，因为在权重学习的角度，变换是没有必要的。深度学习的卷积操作在数学上准确度来说称为互相关（cross-correlation）。

3. Padding

没有Padding的缺点：

每次卷积操作，图片会缩小；

就前面的例子来说， $6\times6$ 大小的图片，经过 $3\times3$ 大小的 filter，缩小成了 $4\times4$ 大小

图片： $n\times n--> (n-f+1)\times (n-f+1)$

角落和边缘位置的像素进行卷积运算的次数少，可能会丢失有用信息。

其中，n 表示图片的长或宽的大小，f 表示filter的长或宽的大小。

加Padding：

为了解决上面的两个缺点，我们在进行卷积运算前为图片加padding，包围角落和边缘的像素，使得通过filter的卷积运算后，图片大小不变，也不会丢失角落和边沿的信息。

以p表示 Padding 的值，则输入 $n\times n$ 大小的图片，最终得到的图片大小为 $(n+2p-f+1)\times (n+2p-f+1)$ ，为使图片大小保持不变，需根据filter的大小调整p的值。

Valid / Same 卷积：

Valid：no padding；（ $n\times n --> (n-f+1)\times (n-f+1)$ ）
Same：padding，输出与输入图片大小相同，（ $p=(f-1)/2$ ）。
在计算机视觉中，一般来说filter为奇数（odd），基本上都是这样。很少会看到一个偶数的过滤器。可能的原因有两个：　
- ①如果f是偶数的话，那么由于 $p=(f-1)/2$ ，则有可能不对称的填充，造成左边填充多一点，右边填充少一点这样不对称的情况；
- ②当你有一个奇数维度的过滤器的时候，例如3x3或者5x5，它就会有一个中心点，有时候在计算机视觉中，有一个中心像素点会更方便地便于指出过滤器的位置
- ③或许这些都不是f取奇数的充分理由，但是在看文献的时候，经常看到的就是3x3或者oddxodd的过滤器。所以遵循计算机视觉的惯例，通常都是使用奇数值的f

4. 卷积步长（stride）

卷积的步长是构建卷积神经网络的一个基本的操作。

如前面的例子中，我们使用的 stride=1，每次的卷积运算以1个步长进行移动。下面是 stride=2 时对图片进行卷积的结果：

以s表示stride的大小，那么在进行卷积运算后，图片的变化为：

$n\times n --> \left\lfloor \dfrac{n+2p-f}{s}+1 \right\rfloor\times \left\lfloor \dfrac{n+2p-f}{s}+1 \right\rfloor$

如果上面的商不是一个整数的时候，这种情况下我们向下取整，上面的特殊括号代表的就是向下取整；这也叫做地板除：[z]=floor(z)，意味着将z向下取整到最近的整数。

这种原则实现在你的蓝框（移动的窗口）完全包括在图像或者填充完的图像内部时才对它进行运算，如果有任意一个蓝框移动到图像外部去了的话就不要进行相乘的操作了。

也就是你的过滤器必须处于图像中或者填充之后的图像区域内，才输出相应结果。

注意，在当 $padding\ne 1$ 时，若移动的窗口落在图片外面，则不要再进行相乘的操作，丢弃边缘的数值信息，所以输出图片的最终维度为向下取整。

5. 立体卷积

卷积核的通道数：

对于灰色图像中，卷积核和图像均是二维的。而应用于彩色图像中，因为图片有R、G、B三个颜色通道，所以此时的卷积核应为三维卷积核。

卷积核的第三个维度需要与进行卷积运算的图片的通道数相同。

多卷积核：

单个卷积核应用于图片时，提取图片特定的特征，不同的卷积核提取不同的特征。如两个大小均为 $3\times3\times3$ 的卷积核分别提取图片的垂直边缘和水平边缘。

由图可知，最终提取到彩色图片的垂直特征图和水平特征图，得到有2个通道的 $4\times4$ 大小的特征图片。

Summary：

图片： $(n\times n\times n_{c} )* (f\times f\times n_{c}) ——>(n-f+1)\times (n-f+1)\times n'_{c}$

其中， $n_{c}$ 表示通道的数量， $n'_{c}$ 表示下一层的通道数，同时也等于本层卷积核的个数。

6. 简单卷积网络

单层卷积网络的例子：

和普通的神经网络单层前向传播的过程类似，卷积神经网络也是一个先由输入和权重及偏置做线性运算，然后得到的结果输入一个激活函数中，得到最终的输出：

$z^{[1]}=w^{[1]}a^{[0]}+b^{[1]}$

$a^{[1]}=g(z^{[1]})$

不同点是：在卷积神经网络中，权重和输入进行的是卷积运算。

单层卷积的参数个数：

在一个卷积层中，如果我们有10个 $3\times3\times3$ 大小的卷积核，那么加上每个卷积核对应的偏置，则对于一个卷积层，我们共有的参数个数为：

$(3\times3\times3+1)\times10 = 280$

无论图片大小是多少，该例子中的卷积层参数个数一直都是280个，相对于普通的神经网络，卷积神经网络的参数个数要少很多。

标记的总结：

如果 $l$ 表示一个卷积层：

$f^{[l]}$ ：filter 的大小；
$p^{[l]}$ ：padding；
$s^{[l]}$ ：步长（stride）；
卷积核的个数： $n^{[l]}_{C}$ ；
filter大小： $f^{[l]}\times f^{[l]}\times n^{[l-1]}_{C}$ ;
激活值（Activations）： $a^{[l]}—>n^{[l]}_{H}\times n^{[l]}_{W}\times n^{[l]}_{C}$ ；
权重（Weights）： $f^{[l]}\times f^{[l]}\times n^{[l-1]}_{C}\times n^{[l]}_{C}$ ；
偏置（bias）： $n^{[l]}_{C}——(1,1,1,n^{[l]}_{C})$

Input： $n^{[l-1]}_{H}\times n^{[l-1]}_{W}\times n^{[l-1]}_{C}$ ；
Output： $n^{[l]}_{H}\times n^{[l]}_{W}\times n^{[l]}_{C}$ ；
其中， $n^{[l]}_{H} = \left\lfloor \dfrac{n^{[l-1]}_{H}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1 \right\rfloor$ ， $n^{[l]}_{W} = \left\lfloor \dfrac{n^{[l-1]}_{W}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1 \right\rfloor$ 。