Single Image Super-resolution with a Switch Guided Hybrid Network for Satellite Images

论文地址2011.14380.pdf

摘要

遥感图像的超分，举例来说，由于车辆，建筑物，道路等不同类型的物体，市区上的斑块背景不均匀。另一方面，丛林上的斑块本质上会更加均匀。因此，不同的深度模型将适合不同种类的补丁。在这项研究中，我们将尝试在交换卷积网络的帮助下进一步探索这一点。这个想法是训练一个开关分类器，它将分类器自动分类为最适合它的一类模型。

介绍

基于重构的算法需要同一场景的多个空间/光谱/时间低分辨率图像。基于学习的方法依赖于先验信息，该先验信息可以从由高分辨率图像和相应的低分辨率图像组成的现有数据集中提取。
基于学习的超分辨率：基于学习的超分辨率算法可以分为三类：回归，表示和基于深度学习的算法
LR到HR是一对多的映射关系，因此使用深度学习的方法实际上就是找到最好的对应关系。
这篇论文使用的是SpaceNet dataset，并且在单图像超分辨率和多尺度深度残差网络用于卫星图像超分辨率重建的背景下，两个深层网络DRLN和DBPN优于SpaceNet数据集上的现有技术

我们试图找出哪种深度模型对城市或农村地区等不同类型的地区更有效，

论文参考了Switching Convolutional Neural Network for Crowd Counting, 这个想法是训练一个开关，它将图像分为深度模型的类别之一，这将更适合在图像块上执行超分辨率。

单图像超分辨率深度算法分为4大类：

Pre-upsampling Super-resolution:

SRCNN , VDSR , DRRN, IRCNN, DNCNN

Post-upsampling Super-resolution:

FSRCNN,ESPCN

Progressive Upsampling Super- Resolution:

LAPGAN， LapSRN

Iterative up-and-down sampling:

DBPN
（以上可以去看综述）

数据集介绍

** SpaceNet satellite image dataset，包含5个地方 Rio de Janeiro, Paris, Las Vegas, Shanghai, and Khartoum从DigitalGlobes WorldView-2卫星收集并在亚马逊上公开发布
里约热内卢的完整卫星图像（空间分辨率为0.5 m）具有2.8 M 2.6 M像素的最高分辨率图像，并分为436个404像素的6540个不重叠的HR图像块，图像中感兴趣的主要内容是建筑物和道路。
我们从图像中随机采样了5750个补丁，其中4600个用于训练，1150个用于验证。通过使用三次三次插值将原始图像降级4倍来准备低分辨率图像**。因此，低分辨率图像的分辨率为109 X 101

级联DBPN

这只是对现有DBPN模型的稍加修改，引入了逐步上采样。因此，为了以4倍的比例获取图像，我们需要训练2种不同的DBPN2X模型，这涉及额外的计算成本。

SWITCH GUIDED HYBRID-NETWORK(开关引导混合网络)

每个深度网络都有自己的优缺点，DBPN模型更适合于两倍于大比例尺的放大，它无法捕获细节。级联结构的合并在这里可能有用，但是这将再次增加额外的计算开销。
同样，某些图像不包含重要信息，对于此类图像（仅丛林或均匀的田野），我们无需捕获图像中存在的任何微小物体。对于这种类型的图像，我们可以采用一步上采样方法或其他任何浅层方法。
因此，我们的主要目的是在分类器的帮助下将图像集分为不同种类，并基于开关输出，将图像补丁转发到深层或浅层网络。这最终将优化整体时间开销。因此，我们已经看到了此问题的两个不同方面。

维持计算成本和性能之间的权衡

为此，我们尝试将图像块分成两个不同的组。一组对应于这些图像，在使用双三次插值执行超分辨率后，可以提供更好的逼真的视图。另一方面，某些图像在使用双三次插值进行向上升级后会产生失真的输出。图片下方是这两种图像的示例

对于图3-II（底部）所示的图像类型，深层网络更为合适。但是，使用密集网络会导致较高的计算时间。 DBPN网络的计算时间是简单FSRCNN模型所需时间的1/100。 FSRCNN是一个非常浅的网络。因此，它对于实时超分辨率应用更有效

个别补丁的分类

为了区分两种不同类型的图像（如果我们基于Edge内容做出决定），那么有些图像的边缘内容要少得多，但是具有一些复杂的背景将被错误地归类为简单示例。