清华大学发表cvpr2020论文

论文: EfficientDet: Scalable and Efficient Object Detection

目前目标检测领域，高精度的模型通常需要很大的参数量和计算量，而轻量级的网络则一般都会牺牲精度。因此，论文希望建立一个可伸缩的高精度且高性能的检测框架。论文基于one-stage的检测网络范式，进行了多种主干网络、特征融合和class/box预测的结构尝试，主要面临两个挑战:

FPN是目前最广泛的多尺度融合方法，最近也有PANet和NAS-FPN一类跨尺度特征融合方法。对于融合不同的特征，最初的方法都只是简单地直接相加，然而由于不同的特征是不同的分辨率，对融合输出特征的共享应该是不相等的。为了解决这一问题，论文提出简单但高效加权的bi-directional feature pyramid network(BiFPN)，该方法使用可学习的权重来学习不同特征的重要性，同时反复地进行top-down和bottom-up的多尺度融合

论文认为除了缩放主干网络和输入图片的分辨率，特征网络(feature network)和box/class预测网络的缩放对准确率和性能也是很重要的。作者借鉴EfficientNet，提出针对检测网络的混合缩放方法(compound scaling method)，同时对主干网络，特征网络和box/class预测网络的分辨率/深度/宽度进行缩放

最后，论文将EfficientNet作为主干，结合BiFPN和混合缩放，提出新的检测系列EfficientDet，精度高且轻量，COCO上的结果如图1，论文的贡献有以下3点：

定义多尺寸特征 ，论文的目标是找到变化函数 来高效融合不同的特征，输出新特征 。具体地，图2a展示了top-down FPN网络结构，一般FPN只有一层，这里应该为了对比写了repeat形式。FPN获取3-7层的输入 ， 代表一个分辨率为 的特征层

top-down FPN操作如上所示， 为上采用或下采样来对齐分辨率， 通常是特征处理的卷积操作

top-down FPN受限于单向的信息流，为了解决这一问题，PANet(图2b)增加了额外的bottom-up路径的融合网络，NAS_FPN(图2c)使用神经架构搜索来获取更好的跨尺度特征网络的拓扑结构，但需要大量资源进行搜索。其中准确率最高的是PANet，但是其需要太多的参数和计算量，为了提高性能，论文对跨尺寸连接做了几点改进：

大多的特征融合方法都将输入特征平等对待，而论文观察到不同分辨率的输入对融合输出的特征的贡献应该是不同的。为了解决这一问题，论文提出在融合时对输入特征添加额外的权重预测，主要有以下方法：

， 是可学习的权重，可以是标量(per-feature)，也可以是向量(per-channel)，或者是多维tensor(per-pixel)。论文发现标量形式已经足够提高准确率，且不增加计算量，但是由于标量是无限制的，容易造成训练不稳定，因此，要对其进行归一化限制

，利用softmax来归一化所有的权重，但softmax操作会导致GPU性能的下降，后面会详细说明

，Relu保证 ， 保证数值稳定。这样，归一化的权重也落在 ，由于没有softmax操作，效率更高，大约加速30%

BiFPN集合了双向跨尺寸的连接和快速归一化融合，level 6的融合操作如上， 为top-down路径的中间特征， 是bottom-up路径的输出特征，其它层的特征也是类似的构造方法。为了进一步提高效率，论文特征融合时采用depthwise spearable convolution，并在每个卷积后面添加batch normalization和activation

EfficientDet的结构如图3所示，基于one-stage检测器的范式，将ImageNet-pretrained的EfficientNet作为主干，BiFPN将主干的3-7层特征作为输入，然后重复进行top-down和bottom-up的双向特征融合，所有层共享class和box网络

之前检测算法的缩放都是针对单一维度的，从EfficientNet得到启发，论文提出检测网络的新混合缩放方法，该方法使用混合因子 来同时缩放主干网络的宽度和深度、BiFPN网络、class/box网络和分辨率。由于缩放的维度过多，EfficientNet使用的网格搜索效率太慢，论文改用heuristic-based的缩放方法来同时缩放网络的所有维度

EfficientDet重复使用EfficientNet的宽度和深度因子，EfficinetNet-B0至EfficientNet-B6

论文以指数形式来缩放BiFPN宽度 (#channels)，而以线性形式增加深度 (#layers)，因为深度需要限制在较小的数字

box/class预测网络的宽度固定与BiFPN的宽度一致，而用公式2线性增加深度(#layers)

因为BiFPN使用3-7层的特征，因此输入图片的分辨率必需能被 整除，所以使用公式3线性增加分辨率

结合公式1-3和不同的 ，论文提出EfficientDet-D0到EfficientDet-D6，具体参数如Table 1，EfficientDet-D7没有使用 ，而是在D6的基础上增大输入分辨率

模型训练使用momentum=0.9和weight decay=4e-5的SGD优化器，在初始的5%warm up阶段，学习率线性从0增加到0.008，之后使用余弦衰减规律(cosine decay rule)下降，每个卷积后面都添加Batch normalization，batch norm decay=0.997，epsilon=1e-4，梯度使用指数滑动平均，decay=0.9998，采用 和 的focal loss，bbox的长宽比为 ，32块GPU，batch size=128，D0-D4采用RetinaNet的预处理方法，D5-D7采用NAS-FPN的增强方法

Table 2展示了EfficientDet与其它算法的对比结果，EfficientDet准确率更高且性能更好。在低准确率区域，Efficient-D0跟YOLOv3的相同准确率但是只用了1/28的计算量。而与RetianaNet和Mask-RCNN对比，相同的准确率只使用了1/8参数和1/25的计算量。在高准确率区域，EfficientDet-D7达到了51.0mAP，比NAS-FPN少使用4x参数量和9.3x计算量，而anchor也仅使用3x3，非9x9

论文在实际的机器上对模型的推理速度进行了对比，结果如图4所示，EfficientDet在GPU和CPU上分别有3.2x和8.1x加速

论文对主干网络和BiFPN的具体贡献进行了实验对比，结果表明主干网络和BiFPN都是很重要的。这里要注意的是，第一个模型应该是RetinaNet-R50(640)，第二和第三个模型应该是896输入，所以准确率的提升有一部分是这个原因。另外使用BiFPN后模型精简了很多，主要得益于channel的降低，FPN的channel都是256和512的，而BiFPN只使用160维，这里应该没有repeat

Table 4展示了Figure 2中同一网络使用不同跨尺寸连接的准确率和复杂度，BiFPN在准确率和复杂度上都是相当不错的

Table 5展示了不同model size下两种加权方法的对比，在精度损失不大的情况下，论文提出的fast normalized fusion能提升26%-31%的速度

figure 5展示了两种方法在训练时的权重变化过程，fast normalizaed fusion的变化过程与softmax方法十分相似。另外，可以看到权重的变化十分快速，这证明不同的特征的确贡献是不同的，

论文对比了混合缩放方法与其它方法，尽管开始的时候相差不多，但是随着模型的增大，混合精度的作用越来越明显

论文提出BiFPN这一轻量级的跨尺寸FPN以及定制的检测版混合缩放方法，基于这些优化，推出了EfficientDet系列算法，既保持高精度也保持了高性能，EfficientDet-D7达到了SOTA。整体而言，论文的idea基于之前的EfficientNet，创新点可能没有之前那么惊艳，但是从实验来看，论文推出的新检测框架十分实用，期待作者的开源

本篇文章来自CVPR2020，名字是Bringing Old Photos Back to Life，主要做对老照片的恢复工作。

老照片中往往包含多种瑕疵，且不同年代的照片由于摄影技术的不同，其畸变类型有着显著的差异。这使得在合成数据集上训练得到的模型难以适应于实际老照片的修复。与常见图片修复依赖配对监督信号不同，作者将老照片修复问题定义为在 三个图片域之间的转换问题 ：实际待修复的老照片X、合成图像R以及无瑕疵高质量目标域图片Y分别视为三个图片域，我们希望学习得到X-Z的映射，如下图1，中合成图片与目标域图片形成配对关系。

采用如图2所示的网络结构实现三元域图像转换。 具体来说，作者提出用两个变分自编码器（VAE）来分别得到两个隐空间 Z_X（≈Z_R）和Z_Y。第一个自编码器（VAE1）学习重建真实老图片与合成图片，并在中间用一个对抗学习的判别网络将两种输入的隐空间对齐到同一空间。 这里我们采用变分编码器而不是普通的自编码器，这是因为变分编码器假设隐空间满足高斯先验（Gaussian prior），因而图片的隐空间编码更为紧凑，两种输入域的分布更容易被拉近。

类似的，我们用第二个自编码器 VAE2 得到高质量目标图片的隐空间编码。之后，我们固定两个 VAE 的编解码器，利用合成图片与目标图片的显式配对关系（标识为红色框），学习一个额外的隐空间映射（蓝色虚线），以实现对图片的修复。

此外，我们注意到老照片的瑕疵可以归类为 局部损伤以及广泛性损伤 。局部损伤有照片破损、污渍、划痕、褶皱等等，往往照片含有内容上的损坏，需要网络利用全局语义信息来实现修复；广泛性损伤指图片模糊、胶片噪声、颜色泛黄等整张照片均匀程度受到影响，修复仅需图片局部信息。 因而，我们的隐空间修复网络采用局部-全局视野融合，其中全局支路采用 nonlocal 模块大大增强处理视野。我们对局部破损图片建立了数据集，训练网络预测破损区域，该破损区域显式的送入 nonlocal 模块，并设置模块感受野为非破损区域（论文中称为 partial nonlocal 模块 ）。

至此，网络可以像修复合成图片一样，高质量的复原实际老照片。在此方法中，我们另外抠出照片中人脸部分，在人脸数据集上训练网络进一步优化人脸的细节。

我们将该方法和先前方法在实际照片上进行了对比。如图3所示，我们的方法达到了最真实、自然、清晰的修复结果。