DeepLab阅读笔记
介绍
- 结合了深度卷积神经网络（DCNNs）和概率图模型（DenseCRFs）的方法，将DCNNs最后一层的响应和完全连接的条件随机场（CRF）结合，解决了DCNNs语义分割时精准度不够的问题
- 三个主要贡献
- 速度：带atrous算法的DCNN可以保持8FPS的速度，全连接CRF平均推断需要0.5s
- 准确：在PASCAL语义分割挑战中获得了第一（当时）的成绩，准确率超过第二好的方法7.2%
- 简单：DeepLab是由两个非常成熟的模块(DCNN和CRFs)级联而成。
标签预测的CNN
The Hole Algorithm 空洞卷积max-pooling会降低特征图的分辨率，而利用反卷积等上采样方法会增加时空复杂度，也比较粗糙，因此利用空洞卷积来扩大感受野，相当于下采样-卷积-上采样的过程被一次空洞卷积所取代。文中并没有详细讲解空洞卷积，网络结构基本是VGG16拿到全连接层换上空洞卷积。
边缘细节恢复的全连接条件随机场
DCNN可以粗略估计目标的存在和位置，但是不太能够勾勒出精确的轮廓。Deeplab通过整合DCNN的识别能力和全连接CRF的细粒度定位精度来解决这个问题，，并表明它在解决定位挑战方面非常成功，产生了准确的语义分割结果， 表现超出现有的方法。
训练
采用分段训练的形式，解耦DCNN和CRF的训练。对于DCNN训练，采用了已在ImageNet上进行预训练的VGG-16网络。通过交叉熵损失函数的随机梯度下降，对VOC 21路分类任务中的VGG-16网络进行了微调。
总结
结合了深度卷积神经网络和全连接条件随机场的思想，能够产生于一准确的预测和详细的分割图，同时计算效率高。其中的两个组件（CNN和CRF）有更充分整合的空间。