Blind Super-Resolution Kernel Estimation using an Internal-GAN【阅读笔记】

论文地址：[https://arxiv.org/abs/1909.06581]

用于估计与真实图像接近的降采样核，从而构建超分训练的图像对（Blind-SR），提升对现实图像超分的性能。

Introduction

之前超分算法所使用的训练数据，大多是通过在HR图像上应用理想的降采样核(如 bicubic downscaling)获得LR图像。而将这些数据上训练出来的SR模型应用到现实数据时，模型性能会急剧下降！

所以 Blind-SR（SR with an unknown kernel）很重要。本文基于跨尺度共现的性质（internal cross-scale recurrence property）（这个不太理解，论文说SR-kernel也是最大化不同尺度LR图像块的相似度的降采样核），提出一个建模模糊核的算法 image-specific Internal-GAN —— KernelGAN，学习图像块的内部分布。KernelGAN整体结构如下图。

G网络为多层线性网络，根据输入的LR图像，生成下采样2倍的图像。然后从原始LR图像和下采样图像截取patch，输入到D网络（patch discriminator），预测heat map。最终整体训练后，得到的G网络即是对应image-specific SR-kernel的下采样操作。

算法细节

生成网络主要模拟降采样核：

$I_{LR}=(I_{HR}*k_{s})\downarrow_{s} \\$

由于非线性网络和实际理论不符，故使用线性网络（不加激活函数）。同时，作者发现 deep linear network 在优化上，比单层网络好很多。所以最终，生成网络是stride 2的6层线性全卷机网络：前3层卷积核为 $7 \times 7, 5 \times 5, 3 \times 3$ ，后3层卷积核为 $1 \times 1$ ，最后一层顺便做stride 2的下采样；整体相当于感受野为 $13 \times 13$ 的卷积核。

判别网络是为了学习区域像素的分布，以判别是否来自真实图像分布。作者使用了全卷积 Patch Discriminator，通过输出一个heat-map（D map）来判别每一块 $7 \times 7$ 图像块的分布。其中包含操作：Spectral normalization，Batch normalization，ReLU激活层，Sigmoid输出层，但不包含 stride、pooling等操作。

Patch Discriminator，感觉7的感受野会不会太小了？

整体KernelAN网络的损失函数为：

$G^{*}(I_{LR})=\underset {G} {\operatorname {arg\,min} } \underset {D} {\operatorname {max} } \{ \mathbb{E}_{x \sim patches(I_{LR})}[(D(x) - 1)^2 + D(G(x))^2] + \mathcal{R} \} \\$

其中， $\mathcal{R}$ 是G网络的正则项，主要约束为和一般的下采样卷积一样形式的操作，利于后续将G网络抽取出来作为一般的下采样核：

抽取为更加compat的小矩阵操作形式；
遵从下采样核的物理意义和数学形式。

故：

$\mathcal{R} = \alpha \mathcal{L}_{sum\_to\_1} + \beta \mathcal{L}_{boundaries} + \gamma \mathcal{L}_{sparse} + \delta \mathcal{L}_{center} \\ s.t. \begin{cases} \mathcal{L}_{sum\_to\_1} & = & | 1- \sum_{i,j} k_{i,j}| \\ \mathcal{L}_{boundaries} & = & \sum_{i,j} | k_{i,j} \cdot m_{i,j} | \\ \mathcal{L}_{sparse} & = & \sum_{i,j}|k_{i,j}|^{\frac{1}{2}} \\ \mathcal{L}_{center} & = & || (x_{0}, y_{0}) - \frac{\sum_{i,j}k_{i,j} \cdot (i, j) }{\sum_{i,j}k_{i,j}} ||_2 \\ \end{cases}$

其中， $\alpha=0.5, \beta=0.5, \gamma=5, \delta=1$ 。

$\mathcal{L}_{sum\_to\_1}$ 鼓励核的累积为1；
$\mathcal{L}_{boundaries}$ 中 $m$ 为常数加权mask，权重随着与中心的距离增加而指数增大，也就是越靠近边界的值惩罚越大，值越小；
$\mathcal{L}_{sparse}$ 鼓励卷积核的稀疏性，防止过于平滑（oversmoothing）；
$\mathcal{L}_{center}$ 鼓励卷积核的质量中心为核的几何中心。