Make the most of your data
Data augmentation
加载图像后，对图像做一些变化，这些变换不改变图像的标签。
通过各种变换人为的增大数据集，可以避免过拟合提高模型的性能，最简单的数据增强就是横向翻转。
1. horizontal flips
2. random crops and scales
对图像进行随机的尺度和位置上选择图像截图；缩放到CNN需要的图像大小最为新的数据集。
使用随机裁剪和缩放来训练模型的时候，用整幅图像来测试算法并不合理，因此在测试阶段，要准备一些
固定的截图，并用这些数据来测试算法，非常常见的作法是选取图像的10个截图（左上角、右上角、下面两个角和中间部分的截图，并把这五个图进行翻转）。
Resnet在测试阶段进行多尺度的变换
3.color jitter
一种简单的方法就是改变对比度
复杂的方法就是：对训练集所有像素做主成分分析(PCA),每个像素是一个长度为3的向量（RGB），当我们遍历所有像素后，得到主要颜色有哪些，然后PCA给出颜色空间中3个主要的颜色方向，表明数据集中颜色在哪个方向上变换最为剧烈，做数据增强，根据这些颜色的主成分来决定新产生的颜色。
4.add extra noise
增加随机噪声扰乱网络，包括BN、Minibatch,dropout弱化了噪声的影响，在BN中保留了均值。
在前向传播时随机增加噪声，在测试的时候弱化噪声影响。
Transfer learning
对于数据量较小，只能把手头的网络当作一个特征提取器，imagenet最后一层是softmax,用一个满足自己需求的线性分类器来代替这个softmax, 其他层不变，只训练这个顶层，类似于只训练一个线性分类器。
类似于：你只要把训练集产生的所有特征存在硬盘上。
数据量较多的话：可以训练更复杂的网络，在最后几层去训练，得到feature map,最后的几层重新初始化，前面的freeze部分不变初始化。
微调finetuning的建议：
第一种是学习率为0的固定层。
第二种是从头开始初始化的层，一般学习率高一些，1/10吧。
第三种是预训练网络中的中间层，要在优化和finetuning中学习，这些中间层的学习率很小，1/100.
微调的muti-stages 建议：
第一步是把网络固定，只训练最后几层，当最后几层快要收敛后，再对这些（包括要训练的中间层进行fineturing）。
由于刚刚初始化，所以梯度会很大，可以先开始固定中间层，等着最后层收敛；或者两个阶段使用不同的学习率。
微调这种迁移学习，当原来网络是类似类型的数据训练出来的时候，微调效果高。
迁移学习的建议
对于MRI数据集，高阶特征可能是针对某种图像的分类，低阶特征是边缘一类的特征，这些低阶特征很容易迁移到非图像数据上面去，
All about convolutions
堆叠两个3*3的卷积，得到一个神经元等于一个5*5的卷积；
堆叠三个3*3的卷积，得到一个神经元等于一个7*7的卷积；
一个7*7的卷积和堆叠三个3*3的卷积在参数规模上的区别：
3*3的三个卷积更好。
3*3的三个卷积比大卷积更少的计算。
比较神奇的结构，1*1的卷积减小了深度上的体积，在空间上有相同的尺寸，要做一个3*3的降维卷积
再做一个1*1的卷积回到原来的深度。
作用：
1*1的卷积减小深度上的维度叫做“bottleneck”，就像将一个多层的全连接层遍历每个数据通道
使用这种结构，可以获得更小的参数规模，参数的个数和计算量直接相关，多层瓶颈结构计算起来快得多，并且有更好的非线性。
卷积的计算
How to arrange them
How to compute them fast
Implementation details