首页 > 技术文章 > RCNN论文阅读笔记

smartwhite 2018-04-09 22:39 原文

一摘要:

两个主要工作:1将cnn和自上而下的区域提案结合进行定位和对象分割;2当训练数据稀缺时,先预训练然后微调。

rccn工作分为四步:1输入一张图片

         2用selective search算法对每张图片产生2000张自下而上的候选目标区域

         3用cnn对每一个候选区域提取深度特征(因为候选区域大小形状不一致,而cnn输入大小要固定227*227,因此本文用affine image wrapping先把候选区域统一为227*227)

                                4用svm对每个区域进行分类

二使用rcnn进行对象检测:

对象检测主要有三个模块:1产生与类别无关的候选区域

                                            2用卷积神经网络产生固定长度的特征向量

                                            3使用线性svm进行分类

三Visualization, ablation, and modes of error

1可视化

其中第一层卷积提取的是图片的边缘和颜色特征,后面的特征难以理解。

文章中将池化层5进行了可视化,pool5的特征图为6*6*256=9216维,忽略边界效应,其感受野为195*195,一个中央pool5几乎具有全局感受野。、

 

256个特征中有6个是可视化的,如图,网络将特征与形状纹理颜色材质等结合在一起,最后的全连接fc6具有模拟大量丰富特征组合的能力

2.Ablation studies

 逐层分析每层的作用,发现全连接层参数巨大而对于目标识别和分类影响比较小,删除fc6和fc7,网络依旧有较好的结果,虽然pool5的的特征值仅仅占6%,所以说cnn的识别能力主要来自卷积层。fine-tuning改善了准确率,微调的改进作用主要作用与fc6和fc7,说明pool5的学习具有一般性,大部分的改进是通过学习特定领域的非线性分类器得到的。

3.检测错位分析

没看太懂

4边框回归

使用线性回归模型来预测定位窗口

四语意分割

区域分类是语意分割的标准技术

分割的cnn特征有三种策略:1忽略区域形状,全部变形为227*227,计算cnn特征(full)

              2仅在区域前景计算cnn特征,用均值输入替换背景,使平均相减后背景区域为(fg)

                                             3full+fg

 

五总结

论文作者认为:自上而下的候选区域提案和卷积神经网络结合是自然而然的,能提高效率的。

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

学习感悟:

     RCNN的训练方式很值得学习:目标检测的标注数据是比较少的,但是图片分类有着大量的标记数据,RCNN首先利用ILSVRC2012图片分类数据库进行预训练甚至可以直接使用AlexNet的参数,得到一个1000维的输出,然后用PASCAL VOC2007数据可进行训练,因为此数据只有20个类别,因此将网络最后的全连接层由1000换成21,20个种类加一个背景类,然后再使用PASCAL VOC2007对数据进行微调。这也印证了论文中说的,卷积层的特征参数具有一般性,用数据多的图片分类数据进行预训练,用数据少的识别数据进行微调,微调主要作用于后面的全连接层。

目标和背景通过候选框和标定框的IOU[(A∩B)/(A∪B)]来选取,重叠度大于0.5是,标记为目标,重叠度小于0.5时为北京,每个batch为32个正样本+96个背景。

RCNN优势:

      1相较于传统的识别方法如:sift、hog的优势在于,利用深度学习方法提取图片的深度特征,而不再利用人为设计的特征

                   2采用区域建议的方式,首先提取可能的目标,不再利用滑动窗口的方式,省去大量计算

                   3加入了边界框回归策略来进一步提升检测精度。 

 

推荐阅读