小目标检测论文阅读

人生是一条漫长的小径，目标像一只萤火虫照亮着我前进，尽管它离我很远很远，可是我依然能够看见它散发出来的光芒。因为，我坚信：每一个人都有自己的目标，包括一切生物。老鼠的目标是能够偷到许多好吃的；抓到更多的老鼠，得到主人的赞赏；猪的目标是饱餐一顿再光荣死去，它们也有，更何况我们这一群人类呢！我曾经在一本书上看到过这样一个故事：有一对年轻的夫妇，他们有两个孩子，一个叫莎拉，一个叫迈克尔。当莎拉六岁的时候、迈克尔六岁时，父母决定为他们小狗抱会啦以后，他们专门聘请了一位驯兽师来训练它。在第一次训练开始之间，训练师问他们：“小狗的目标是什么？”夫妻两面面相觑，颇感意外，他们一脸迷惑地嘟嚷着说：“一只小狗还有什么目标？他的目标当然就是当一只狗狗了！”因为他们实在想不出，作为一只狗，还能有什么另外的目标？驯兽师极为严肃的摇了摇头说：“每只小狗都得有一个目标，否则我们根本无法训练它。你们是想训练它守门，还是和孩子们一道玩耍，或者只是作为你们的一个宠物？我必须知道这些。这就是它的目标。”在驯兽师的精心引导下，这只小狗被成功的训练成孩子的好朋友，它可爱的举止、忠诚的品性和敏锐的洞察力，使它成为这个家庭中不可缺少的重要成员。最重要的是，通过驯兽师，这对夫妇会学会了怎样教育自己的孩子：为他们树立目标。他们的教育最终没有令人失望：小莎拉成了一家电台的主播，而迈克尔则成了纽约市第108任市长——迈克尔·布隆伯格。他们永远记住驯兽师的一句话：一只小狗也要有自己的目标——更何况是一个人呢？听了这个故事，想必大家都已经有了目标吧！没错，人生是一次航行，唯有哪些目标明确的人，他们的到达才是自己的期望。没有目标的人不过是在盲目的跟从——他们到达了，却不会有任何的收获——因为他们不知道为社么到达那里。所以，你不要把别人的期待当成自己的目标，你有你的方向，沿着你的方向出发、前进，你的终点才有意义。的一生总有许多大大小小的目标，因为有了这些目标，我们为之奋斗，为之拼搏。目标就好像是人生航船上的帆，带我们乘风踏浪。而目标再升华一个层次，就是理想。理想就像是人生航船上的方向盘，给我们指引方向，带我们一路领先。因为有了理想，我们就有了克制自己欲望的砝码；因为有了理想，我们就更坚定了自己的信念，乘风破浪，一路领先！并非说理想就有一个，然而当你功名成就的那一天你，你会发现，真正让你成功地理想只有一个。世界上的多数人并非是成功者，不是因为他们的天资愚钝或懒惰，只是因为他们没有找到一个属于自己的理想。或许有的人就是不顾一切的抄袭各个名人的理想当做自己的理想；或许有的人活了大半辈子还不知道自己为什麽而活，为什麽而奔碌；还有的人就是特别会投机取巧，特别贪婪的人，他们把所有的一切都当做自己的理想，想着，这一样不成功可以换另一样，然而就这样换来换去，他最后一样也不会成功！因为他总是把一颗心分成好多份。目标和理想本就是一个递进的关系，就像英语里的最高级一样。理想就是目标的最高级。所以理想不是想什么就是什么，它也要切合实际，先从小目标做起，然后再完成大理想，这样的理想才会实现。或许这就是理想的真谛吧！确的方向引领你走上正确的道路，而不怀好意的指路人就会将你带进凶险的泥潭，让你走上不归路。生活中，有多少人是因为他人的引诱或怂恿而走上违法犯罪的道路呢？ 路有很多种，也有许多不同的走法，做人也是一样的。一个人可以平平淡淡的度过一生，可以碌碌终生，也可以辉煌一生，不同的生活是因为当初他们的目标不同，选择的方向不同。传说，世界上原本只有一种鸟，它们共同生活了一段时间后，就各奔东西了。后来，其中一些鸟儿看见了地上金灿灿的麦粒，就兴奋的落在了地上，变成了鸡。其中一些希望有一个遮风挡雨，温暖舒适的家，就高兴的落在了树枝上，变成了麻雀。还有几只鸟儿仍然在不停的飞着，不一会儿它们就飞上了蓝天，钻进了厚厚的云层。这时，大部分鸟儿都飞倦了，它们看到这美丽的云彩就停了下来，落在了下来，成了燕子。但飞翔并没有结束，还有几只心高气傲的鸟儿仍不知疲倦的飞着，它们的方向始终是向着太阳的，它们努力的飞啊飞啊，终于成了一只只健将有力，搏击长空的雄鹰。因为目的不同，方向不同，心中的理想不同，原来相同的鸟儿今后却有着截然不同的生活。那么我们应该做哪种鸟呢？如果让我选择，那么我一定会选择做一只雄鹰，原因很简单，在追求心中的那个“太阳”时难免会遇到各种各样的困难和挫折，但只要我们勇敢的面对它们，克服它们，我们不仅能变得更坚强，更富有经验，而且还会使我们个人素质得到提高，心灵得到升华，这样就算自己失败了，未能实现梦想也没有什么关系了，因为，这些经历已经使你整个人得到升华，这对于你今后的人生来说是一笔宝贵的财富。 生活可能会面临很多选择，有时像一道选择题，有时像一道连线题，有时没有选择，而像一道填空题。选择题如果选错了，不要紧，因为它不影响下一道题；而连线题就稍微有些。（议论文） 复杂了，有时稍不留神就可能导致你满盘皆输，因此第一步的连线显得格外重要，定要慎重；至于填空题就不必说了，它需要你仔细研究，顾全大局，每一个空都要为下一个空而着想，否则就前后不一，驴唇不对马嘴。《三字经》中说道：人之初，性本善。孟子也认为“人性本善”。是呀，人天生就是善良的，可为什么现在社会中有不少坏人呢？我想，他们是没有做好人生的第一道选择题吧。 有一个关于三个商人的故事。从前，有三个商人，他们决定分别去经商，看谁赚钱最多。第一个商人首先发现了一个商机，他发现非洲人没有鞋子穿，于是他激动地订购了大批鞋子运往非洲销售。结果，他的鞋子无人问津，因为非洲太热，人们从来不穿鞋。最终他当然赔本了。第二位商人也同样发现了一个商机，原来波斯人没有吃过大蒜。于是他满载着两袋大蒜去觐见波斯国王，国王尝过他的大蒜后赞不绝口，并邀请大臣们一同品尝，甚至说这是无上的美味。国王盛情款待了他，并以一头驮着两袋金子的驴作为赏赐来表示自己的谢意，这位商人高兴地返回了。第三位商人听说后心想：葱的味道不也是很鲜美吗？不如我就带着大葱去波斯，他信心十足地来到波斯，将葱献给国王，国王对此也同样赞不绝口，甚至说葱比蒜的味道还要鲜美。他认为金子不足以表达他的谢意了，于是就和大臣们商量，以一口袋蒜作为对第三位商人的赏赐。最后，这位商人气急败坏的返回了。这三位商人同样抓住了商机，但为什么结局却迥然不同呢？原因是第一位商人没有选对方向，没有考虑到非洲的特点，所以他失败了；第二位商人他发现波斯没有蒜，他选对了方向，所以他成功了；而第三位商人虽然也看准了方向，但他没有抓住时机，如果他早去一步，那么两袋金子花落谁家就不一定了。呼应点题纵观我所说的，我只想表达一个想法：选对方向，抓住时机，走好人生的第一步，树立一个远大的目标并为之奋斗，只要做到以上几点，那么，成功舍你其谁？人生如白驹过隙，一切都不在经意间悄然消逝，我们不应该碌碌无为，应该做一番大事，要做大事，就要有人生的目标。目标对一个人的成功至关重要。它使天真的孩童看到未来的希望，它使愚昧的凡人看清前进的方向，使自己更有智慧；它使受挫的失败者找到前进的动力，使自己更坚强。因此，人生要有目标。周恩来因为有“为中华之崛起而读书”的目标，所以他从小发奋学习，刻苦读书，救百姓于水火之中，成为了一代伟人；鲁迅因为有立志改变中国现状的目标，所以他毅然地弃医从文，用自己手中的笔与恶势力作斗争，唤醒亿万麻木的中国人，成为思想的领导者；岳飞因为有“精忠报国”的目标，所以他远赴边疆，抑制匈奴，保家卫国，曾写下“待从头，收拾归山河，朝天阙”的志向，成为铁骨铮铮的一员武将。古今中外，做出一番大事的人，必定是有人生目标的人。有了人生目标，才能使他们成为伟人，有了人生目标，才能使他们被受万人尊崇；有了人生目标，才能使他们实现自己的理想与抱负。他们用自己的成功诠释着一个道理：人生要有目标。如果没有目标，吞蛹就不会作茧自缚，备受折磨，等待破壳而出，把翔飞的梦想留给明天；如果没有目标，蚌就不会忍受痛苦，历经煎熬，积累美丽，把耀眼瑰丽的珍珠留给明天；如果没有目标，种子就不会深埋地下，历经寒冬，冲破土层，将生命的绿意伸向蓝天；如果没有目标，水珠就不会流入小溪，奔向江河，汇入大海，使其永不枯竭；如果没有目标，陨石就不会冲向大气层，划破茫茫夜空，焕发璀璨迷人的光芒，化为流星，让瞬间成为永恒；如果没有目标，大雁就不会冲破阻碍，团结协作，一往无前的飞向南方。

原文： Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press, 2015:91-99.

译文参考： Faster R-CNN论文翻译——中英文对照

目标检测网络依赖于Region Proposal算法假设目标位置，通过引入Region Proposal（网络RPN），与检测网络共享全图像卷积特征，使得Region Proposals的成本近乎为零。

如下图所示，图a采用的是图像金子塔（Pyramids Of Images）方法；图b采用的是滤波器金字塔（Pyramids Of Filters）方法；图c引入“锚”盒（"Anchor" Boxes）这一概念作为多尺度和长宽比的参考，其可看作回归参考金字塔（Pyramids Of Regression References）方法，该方法可避免枚举图像、多尺度滤波器和长宽比。

为了将RPN与Fast R-CNN相结合，本文提出了一种新的训练策略：在region proposal任务和目标检测任务之间交替进行微调，同时保持proposals的固定。该方案能够快速收敛，两个任务之间并共享具有卷积特征的统一网络。

Faster R-CNN由两个模块组成：

RPN以任意大小的图像作为输入，输出一组矩形的目标proposals，每个proposals都有一个目标得分。在实验中，假设两个网络（RPN和Fast R-CNN）共享一组共同的卷积层，并研究了具有5个共享卷积层的 Zeiler和Fergus模型（ZF） ，以及具有13个共享卷积层的 Simonyan和Zisserman模型（VGG-16） 。

为了生成region proposals，对最后的共享卷积层输出的卷积特征图谱使用一个小网络。该网络以卷积特征图谱的 空间窗口作为输入，且每个滑动窗口映射到一个低维特征，所有空间位置共享全连接层。

该低维特征作为两个子全连接层———边界框回归层（box-regression layer, reg）和边界框分类层（box-classification layer, cls）的输入，其卷积核均为 大小。

对于每个滑动窗口位置，可同时预测多个region proposals，最大region proposals数为 。因此，reg层具有 个输出，用于编码k个边界框的坐标；cls层具有 个得分，用于估计每个proposal是目标或不是目标的概率。

Anchors：k个proposals相对于 个参考框是参数化形式。

anchor位于滑动窗口的中心，并与尺度和长宽比相关。默认情况，使用3个尺度和3个长宽比，在每个滑动位置产生 个anchors。对于大小为 的卷积特征图谱，共产生 个anchors。

基于anchor的方法建立在anchors金字塔（pyramid of anchors）上，参考多尺度和长宽比的anchor盒来分类和回归边界框，用于解决多尺度和多长宽比问题。

为了训练RPN，为每个anchor分配一个二值标签。

正标签：

负标签：IoU值低于。

对Fast R-CNN中的多任务损失进行最小化。图像的损失函数为：

其中， 是mini-batch数据中anchor的索引， 是第i个anchor作为目标的预测概率。若anchor为正标签，真值 ；反之， 。 是表示预测边界框4个参数化坐标的向量， 是正真值框的向量。分类损失 为两个类别的对数损失；回归损失 ，其中 为在 Fast R-CNN 一文中定义的鲁棒损失函数（平滑 ）。 表示回归损失仅对正anchor激活，否则被禁用（ ）。cls和rge层的输出分别由 和 组成。该两项使用 和 进行标准化，并使用平衡参数 加权处理。等式中cls项根据mini-batch的大小进行归一化，而reg项根据anchor位置的数据进行归一化。默认情况下， 从而使得cls和reg项的权重大致相等。

对于边界框回归，采用 Rich feature hierarchies for accurate object detection and semantic segmentation 一文中的4个坐标参数化方法：

其中， 和 表示边界框的中心坐标及其宽和高。变量 和 分别表示预测边界框、anchor和真值框。

采样策略：以图像为中心。

在图像中随机采样256个anchors，用于mini-batch数据中损失函数的计算，正负样本的比例为 。

从标准差为的零均值高斯分布中提取权重来随机初始化所有的新网络层，而共享卷积层通过预训练ImageNet分类模型来初始化。同时，调整ZF网络的所有网络层，以及VGG网络的conv3_1之上的网络，用于节省内存的使用。对于60k的mini-batch数据，学习率为；对于PASCAL VOC数据集中的20k的mini-bacth数据，学习率为。随机梯度下降算法的动量设置为，重量衰减率为。

训练具有共享特征网络的三个方法：

版权印版权标识

小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点，小目标的检测精度通常只有大目标的一半。

CVPR2019论文: Augmentation for small object detection 提到了一些应对小目标检测的方法，笔者结合这篇论文以及查阅其它资料，对小目标检测相关技巧在本文进行了部分总结。

小目标的定义： 在MS COCO数据集中，面积小于 32*32 的物体被认为是小物体。

小目标难以检测的原因： 分辨率低，图像模糊，携带的信息少。由此所导致特征表达能力弱，也就是在提取特征的过程中，能提取到的特征非常少，这不利于我们对小目标的检测。

1、由于小目标面积太小，可以放大图片后再做检测，也就是在尺度上做文章，如FPN（Feature Pyramid Networks for Object Detection），SNIP（An Analysis of Scale Invariance in Object Detection – SNIP)。

Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的论文。

2、在Anchor上做文章(Faster Rcnn，SSD, FPN都有各自的anchor设计)，anchor在设置方面需要考虑三个因素：

anchor的密度： 由检测所用feature map的stride决定，这个值与前景阈值密切相关。

anchor的范围： RetinaNet中是anchor范围是32~512，这里应根据任务检测目标的范围确定，按需调整anchor范围，或目标变化范围太大如MS COCO，这时候应采用多尺度测试。

anchor的形状数量： RetinaNet每个位置预测三尺度三比例共9个形状的anchor，这样可以增加anchor的密度，但stride决定这些形状都是同样的滑窗步进，需考虑步进会不会太大，如RetinaNet框架前景阈值是时，一般anchor大小是stride的4倍左右。

该部分anchor内容参考于:

3、在ROI Pooling上做文章，文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 认为小目标在pooling之后会导致物体结构失真，于是提出了新的Context-Aware RoI Pooling方法。

4、用生成对抗网络(GAN)来做小目标检测：Perceptual Generative Adversarial Networks for Small Object Detection。

1、从COCO上的统计图可以发现，小目标的个数多，占到了，但是含有小目标的图片只有，大目标所占比例为，但是含有大目标的图像却有。这说明有一半的图像是不含小目标的，大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中，模型有一半的时间是学习不到小目标的特性的。

此外，对于小目标，平均能够匹配的anchor数量为1个，平均最大的IoU为，这说明很多情况下，有些小目标是没有对应的anchor或者对应的anchor非常少的，即使有对应的anchor，他们的IoU也比较小，平均最大的IoU也才。

如上图，左上角是一个anchor示意图，右上角是一个小目标所对应的anchor，一共有只有三个anchor能够与小目标配对，且配对的IoU也不高。左下角是一个大目标对应的anchor，可以发现有非常多的anchor能够与其匹配。匹配的anchor数量越多，则此目标被检出的概率也就越大。

实现方法： 1、Oversampling ：我们通过在训练期间对这些图像进行过采样来解决包含小对象的相对较少图像的问题（多用这类图片）。在实验中，我们改变了过采样率和研究不仅对小物体检测而且对检测中大物体的过采样效果

2、Copy-Pasting Strategies：将小物体在图片中复制多分，在保证不影响其他物体的基础上，增加小物体在图片中出现的次数（把小目标扣下来贴到原图中去），提升被anchor包含的概率。

如上图右下角，本来只有一个小目标，对应的anchor数量为3个，现在将其复制三份，则在图中就出现了四个小目标，对应的anchor数量也就变成了12个，大大增加了这个小目标被检出的概率。从而让模型在训练的过程中，也能够有机会得到更多的小目标训练样本。

具体的实现方式如下图：图中网球和飞碟都是小物体，本来图中只有一个网球，一个飞碟，通过人工复制的方式，在图像中复制多份。同时要保证复制后的小物体不能够覆盖该原来存在的目标。

网上有人说可以试一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ，这是一种在视频跟踪/分割里面比较有效的数据增强手段，据说对于小目标物体检测也很有效。

基于无人机拍摄图片的检测目前也是个热门研究点（难点是目标小，密度大）。 相关论文： The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking（数据集） Drone-based Object Counting by Spatially Regularized Regional Proposal Network Simultaneously Detecting and Counting Dense Vehicles from Drone Images Vision Meets Drones: A Challenge（数据集）

1: 2: 3: 4: 5: 6: 7: