发布时间：
对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。
R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。 模型的流程图如下：
在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于0.5，就认为是正类。 对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。
框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。 如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。
Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。 这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：
RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。 但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。 为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。
为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：
回归的target可以参考前面的R-CNN部分。
notes
为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。 RPN的目的：
为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：
在每一个滑动窗口（可以参考 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：
自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。
对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。
与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。 与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。
与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。
不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。
由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。 RoI Pooling，经历了两个量化的过程： 第一个：从roi proposal到feature map的映射过程。 第二个：从feature map划分成7*7的bin，每个bin使用max pooling。
为此，作者使用了RoIAlign。如下图
为了避免上面提到的量化过程
可以参考
作者使用ResNet作为基础的特征提取的网络。 对于预测类别，回归框，mask的网络使用如下图结构：
整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。 可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。 以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 0.3来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为0.5。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为0.5 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有0.2个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为0.5的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化45.3%的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是0.29，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
洋河流域遥感图像土地利用分类方法研究 【摘要】遥感影像分类方法的确定是LUCC研究中的关键步骤。文章以洋河流域为研究区，分别进行了非监督分类和监督分类。针对监督分类结果中存在的误差，对水域、植被、城镇与工矿用地三种类型地物的提取分别选择了综合阈值法、植被指数法、DEM数据辅助分析法进行了改进，结果表明改进后的提取结果较监督分类直接得到的结果有了很大的改善。【关键词】遥感图像；监督分类；综合阈值法；植被指数法【中图分类号】TP79 【文献标识码】A【文章编号】1671-5969（2007）16-0164-03一、研究区域概况及图像资料（一）研究区域概况洋河流域是张家口经济发展的中心地带，水资源相对丰富。洋河发源于山西省阳高县和内蒙古兴和县，是永定河上游的一大支流，流域面积约14600km2 。在张家口市流域面积为9762km2，流经万全县、怀安县、张家口市区、宣化县、宣化区、下花园区、怀来县等，干流全长106 km，在朱官屯于桑干河汇合后流至官厅水库，是官厅水库的重要水源。洋河流域形状东西向较长，南北向较短，地形总趋势西北高、东南低。流域的东北、北部和西北沿坝头一带海拔高程1200～1500m之间，西部和南部边界海拔高程一般在500～1000m之间。流域内80％以上为丘陵山区，绝大部分为荒山秃岭。流域内大部分为黄色沙壤土，并有部分砂砾土及黄粘土，沿河川地层厚且较肥沃[1]。（二）信息源遥感信息源的选择要综合考虑其光谱分辨率、空间分辨率、时间分辨率等因素， 这是利用遥感图像进行土地利用分类的关键问题。美国的Landsat TM 图像是当前应用最为广泛的卫星遥感信息源之一，它可提供7个波段的信息， 空间分辨率为30～120m。TM数据源各波段各有特点，可进行不同地物类型的信息提取。相关资料表明TM遥感数据各波段间的信息相关关系为：TM1与TM2，TM5与TM7高度相关，相关系数达0.95以上，信息冗余大，可以考虑不选取TM1波段。另外由于第6个波段的分辨率为120m，不利于地物信息的提取，所以亦不选取TM6波段。一般来说， 选择图像类型时，应考虑研究区域的大小、研究的目的，以及要达到的精度要求，另外不同时相遥感图像的选择对分类精度也具有很大的影响。为了能把水域、城市与工矿用地、林地、耕地、裸地区分开，以洋河流域1987年9月17日的TM图像为信息源进行研究。本文中所使用的遥感图像处理工具为美国ERDAS公司的ERDAS IMAGINE8.4软件，它是一个功能完整的、集遥感与地理信息系统于一体的专业软件，具有数据预处理、图像解译、图像分类、矢量功能、虚拟gis等多个功能。二、现有遥感图像土地利用分类的主要方法及其分析遥感图像土地利用分类就是利用计算机通过对遥感图像中各类地物的光谱信息和空间信息进行分析，选择特征，并用一定的手段将特征空间划分为互不重叠的子空间，然后将图像中的各个像元划归到各个子空间中以实现分类[2]。按照是否有已知训练样本的分类数据，将其分为非监督分类和监督分类。它们最大的区别在于监督分类首先给定类别，而非监督分类则由图像数据本身的统计特征来确定。（一）非监督分类非监督分类是在多光谱特征空间中通过数字操作搜索像元光谱属性的自然群组的过程，这种聚类过程生成一副有m个光谱类组成的分类图。然后分析人员根据后验知识将光谱类划分或转换成感兴趣的专题信息类[3]。洋河流域内有很多山地，在图像上会产生大量的阴影，导致了像元灰度值的空间变化，这对分类结果有很大的影响。为此可以通过比值运算来去除阴影的影响，使向阳处和背阴处都毫不例外地只与地物的反射率的比值有关。常用算法：近红外波段（TM4）/红外波段（TM3），这样所得到的效果比较好，从原始图像和比值运算后的图像（图像略）中，可以清楚地看到山体阴面的阴影得到了有效的去除。经过比值运算后， 就可以对图像进行非监督分类。得到的分类结果如图1所示。非监督分类只根据地物的光谱特征进行分类，受人为因素的影响较少，不需要对地面信息有详细的了解，但由于“同物异谱、异物同谱”等现像的存在，其结果一般不如监督分类令人满意。比如官厅水库旁边的大量建筑物被分到水体一类。是因为在TM3波段上，水体和建筑物的灰度值相近， 同样在TM7波段上，裸山和建筑物的灰度值也相近。总之，在TM的6个波段上，无论采用哪个波段进行非监督分类，总有几种地物的光谱值接近，因此单纯依靠计算机自动分类取得很好的效果是非常困难的。
摄影测量与遥感技术发展论文主要通过对摄影技术与遥感技术的发展进行了研究，并对其在各个方面的运用进行了论述。
摄影测量与遥感技术发展论文【1】
摘要：随着经济的不断发展，科学的不断进步，摄影测量与遥感技术因其运用范围广、作用大而走上了逐渐发展的道路，并且对国民经济生活起着重要的影响。
关键词：摄影测量;遥感技术;发展;应用
摄影测量与遥感技术被划分在地球空间信息科学的范畴内，它在获取地球表面、环境等信息时是通过非接触成像传感器来实现的，并对其进行分析、记录、表达以及测量的科学与技术。
3S技术的应用、运用遥感技术以及数字摄影测量是其主要研究方向。
在多个领域内都可以运用遥感技术与摄影测量，比如：自然灾害、勘查土木工程、监测环境以及国土资源调查等。
随着我国经济的不断发展，运用到遥感技术与摄影测量的领域也在逐渐的增多。
在人类认识宇宙方面，遥感技术与摄影测量为人类提供了新的方式与方法，也为人类对地球的认知以及和谐共处提供了新的方向。
遥感技术和摄影测量可以提供比例不同的地形图以服务于各种工作，并且还能实现基础地理信息数据库的建立;遥感技术与摄影测量与地图制图、大地测量、工程测量以及卫星定位等构成了一整套技术系统，是测绘行业的支柱。
一、摄影测量与遥感技术的发展
从摄影测量与遥感技术的发展来看，摄影测量与遥感技术在近30年的时间里已经涉及到城市建设、水利、测绘、海洋、农业、气象、林业等各个领域，在我国的经济发展中起着至关重要的作用。
摄影测量从20世纪70年代后期从模拟摄影中分离出来，并逐渐步入数字摄影阶段，摄影测量正在逐渐的转变为数字化测绘技术体系。
(一)摄影测量与遥感技术有利于推动测绘技术的进步
我国的摄影测量从上世纪70年代后期经历一个系统的转变。
在经历了模拟摄影测量以及解析摄影测量阶段之后，摄影测量终于步入了数字摄影测量的阶段，这也成为我国传统测绘体系解体，测绘技术新体系兴起的标志。
首先，从数字影像的类型来看，当前我国已经建立了数字栅格图、数字高程模型以及数字正射影像，土地利用与地名数据库也随之建立起来，摄影测量与数据库的多样性在一定程度上为生产运用提供了可能，从而进一步推动了测绘技术的发展。
其次，由于摄影测量与遥感技术的飞速发展，也逐渐被国家所重视，并利用这两项技术来完成了各种地理比例尺地形图的绘制。
此外，还推动了诸多具有全国界别的基础地理信息数据库的建立。
比如：比例尺级别为1：50000，1：1000000等的国家级地理信息数据库;除开国家级的，还有省级、县级等的地理信息数据库等。
(二)摄影测量与遥感技术有利于提升空间数据的获取能力
我国获取空间数据的能力在经过五十年的发展，有了较大的提升。
对具有自主知识产权的处理遥感数据平台进行了研发，从而推动了国产卫星遥感影像地面处理系统的建立，并在摄影测量方面积极进行研究和探索，为我国独立处理信息、获取观测体系的建立提供了坚实的基础。
首先，从获取数据的能力方面来看，传感器在国家863以及973计划的支持上成功被研制出来，成功发射了对地观测的包括通信卫星、海洋卫星、气象卫星以及资源卫星等五十多颗卫星，并推动了资源、风云、环境减灾以及海洋四大民用对地观测卫星体系的建立，实现了从太阳和地球同步轨道对地球多传感器、多平台的观测以及对地球表面分辨率不同的雷达和光学图像的获取，并将这些获取的数据用于对海洋现象、大气成分、自然灾害以及水循环等各个方面的监测。
其次，从数据储备方面来看，数据积累已经成功的覆盖了全国海域、陆地以及我国周围国家和地区的包括一千五百万平方公里的地球表面数据。
二、摄影测量与遥感技术在国民经济各项领域中的运用
(一)摄影测量与遥感技术在应对自然灾害中的运用
在发生自然灾害时，为了能够第一时间了解灾情的具体分布，获取高分辨率灾区遥感影像，可以采用低空无人遥感、航天、航空遥感等方式，对灾区原有的地理信息以及尺度进行整合，推动地理信息服务平台的建立，将多尺度影像地图制作出来，及时、有效的提供地理信息以及地图数据支持，为及时制定出应对自然灾害的措施提供了依据。
比如在汶川地震时，在灾区道路交通与通信严重受损的情况下，通过摄影测量与遥感技术在第一时间获取了灾区的详细信息与资料，并利用航空遥感技术和无人机连续、动态的实现对灾区的监测，并对道路交通以及房屋倒塌等情况进行分析，建立起灾区地理信息综合服务平台，将灾区的地理信息数据进行整合，比如水系、居民地以及交通等，为各级抗震救灾指挥部门作出正确的决策以及救援人员的搜救工作提供了及时有效的灾情信息。
在灾区的救援工作中，发挥着至关重要的作用。
(二)摄影测量与遥感技术在气象中的运用
在气象方面中，摄影测量与遥感技术主要运用在对各种气象灾害的.预报和监测两方面。
在热带天气系统的监测方面，气象卫星发挥着极其重要的作用，尤其是对于台风的预报和监测。
在我国的春、夏季中，雷雨、暴雨等作为多发性的灾害性天气，在监测和分析方面，如果运用常规的气象观测资料是非常困难的。
利用具有高空间分辨率和高时间密度特点的卫星云图以及卫星产品，可以对对流系统的演变、发生、移动以及发展过程进行全方位的监测，从而为对流天气的分析和提前预警提供了非常重要的信息。
三、结语
摄影测量与遥感技术的应用已经逐渐步入信息化阶段。
随着我国航空航天技术的不断发展，如何将各行各业的发展与摄影测量和遥感技术相结合从而推动我国经济的发展，已经成为未来摄影测量和遥感技术发展的主要方向。
【参考文献】
[1]张景雄.地理信息系统与科学[M].武汉：武汉大学出版社，2010：108―114
[2]张剑清.潘励.王树根.摄影测量学[M].武汉：武汉大学出版社，2009：89―93
[3]李德仁.王树根.周月琴.摄影测量与遥感概论[M].北京：测绘出版社，2008：131―137
[4]乔瑞亭.孙和利.李欣.摄影与空中摄影学[M].武汉：武汉大学出版社，2008：178―182
[5]窦超.李兆钧.浅谈摄影测量与遥感的发展应用[M].青海国土经略，2011(06)：29―31
摄影测量与遥感技术的新特点及技术【2】
摘要：本文主要分析了近年来我国摄影测量与遥感技术表现出的许多新的特点，分别从航空摄影自动定位技术、近景摄影测量、低空摄影测量、SAR数据处理、多源空间数据挖掘等方面进行了总结与论述。
关键词：电子科技论文发表,科技论文网,自动定位技术,近景摄影测量,低空摄影测量,SAR数据处理,多源空间数据挖掘
前言：摄影测量与遥感是从摄影影像和其他非接触传感器系统获取所研究物体，主要是地球及其环境的可靠信息，并对其进行记录、量测、分析与应用表达的科学和技术。
随着摄影测量发展到数字摄影测量阶段及多传感器、多分辨率、多光谱、多时段遥感影像与空间科学、电子科学、地球科学、计算机科学以及其他边缘学科的交叉渗透、相互融合，摄影测量与遥感已逐渐发展成为一门新型的地球空间信息科学。
1、航空摄影自动定位技术
近年来，随着卫星导航和传感器技术的进步，遥感对地目标定位逐步摆脱了地面控制点的束缚，向少控制点甚至是无控制点的方向发展。
1.1 利用基于载波相位测量的GPS动态定位技术测定航空影像获取时刻投影中心的3维坐标，以此为基础研究了GPS辅助空中三角测量理论和质量控制方法，在加密区四角布设地面控制点的GPS辅助光束法区域网平差的精度可满足摄影测量规范的精度要求，大量减少了航空摄影测量所需的地面控制点。
研究成果已大规模用于国家基础测绘，产生了显著的社会和经济效益。
1.2 开展利用在飞机上装载IMU和GPS构成的POS系统直接获取航摄像片6个外方位元素的多传感器航空遥感集成平台研究，可实现定点航空摄影和无地面控制的高精度对地目标定位。
研究成果表明，在1：5万及以下比例尺的4D产品生产中，可直接使用POS系统测得的像片外方位元素进行影像定向，基本无需地面控制点和摄影测量加密，从而改变了航空摄影测量的作业模式，并使无图区、困难地区的地形测绘和空间信息数据的实时更新成为可能。
2、近景摄影测量技术
近景摄影测量的研究应用领域已涉及空间飞行器制造、航空工业、船舶工业、汽车工业、核能工业、化学工业以及医学、生物工程、公安刑事侦破、交通事故及其他事故现场处理、古建筑建档和恢复、大型工程建设监测等方面。
2.1 利用数字相机与实时数字近景摄影测量技术相结合建立相应的工业零件检测系统。
该类系统使用高重叠度序列图像作为影像数据源，利用较多同名特征的冗余观测值成功地进行粗差剔除，根据2维序列图像导出物体不同部位的3维信息，然后将这些3维信息融为统一的表面模型，实现了高精度3维重建。
2.2 利用数码相机与全站仪集成形成一个全新的测量系统——摄影全站仪系统。
尽管传统近景摄影测量近年来得巨大发展，但必须在被测物体表面或周围布设一定数量的控制点，摄影测量工作者心中的“无接触测量“没有真正实现。
全站仪作为一种高精度测量仪器在工程测量中被广泛接受，本质上它是一种基于”点“的测量仪器。
将它与基于”面“的摄影测量有机地结合起来，形成一个全新的测量系统——摄影全站仪系统。
在该系统中，量测数码相机安装在全站仪的望远镜上，测量时利用全站仪进行导线测量，在每个导线点利用量测数码相机对被测物体进行摄影。
每张影像对应的方位元素可以由导线测量与全站仪的读数中获取。
3、低空摄影测量技术
近年来随着低空飞行平台(固定翼模型飞机、飞艇、直升机、有人驾驶小型飞机)及其辅助设备的进一步完善、数码相机的快速普及和数字摄影测量技术的日趋成熟，由地面通过无线电通讯网络，实现起飞、到达指定空域、进行遥感飞行以及返回地面等操作的低空遥感平台为获取地面任意角度的清晰影像提供了重要途径。
3.1 建立基于无人驾驶飞行器的低空数字摄影测量与遥感硬件系统。
硬件平台包括无人驾驶遥控飞行平台，差分GPS接收机，姿态传感器，高性能数码相机和视频摄像机，数据通讯设备，影像监视与高速数据采集设备，高性能计算机等等。
需要深入研究无人驾驶飞行平台的飞行特性，并研制三轴旋转云台、差分GPS无线通讯、视频数据的自动下传、自动曝光等关键技术。
3.2 研究无人驾驶飞行平台的自动控制策略。
在飞行器上搭载飞控计算机，由差分GPS数据得到飞艇(相机)的精确位置，在此基础上对较低分辨率的视频序列影像进行匹配，结合姿态传感器的输出信号实时自动确定飞行器的姿态，从而进行飞行自动控制，并将所有数据同时下传到地面监控计算机。
3.3 研究多基线立体影像中连接点的多影像匹配方法与克服影像几何变形的稳健影像匹配方法。
3.4 数字表面模型与正射影像的自动获取及立体测图。
4、SAN数据处理技术
SAR成像具有全天时、全天候的工作能力，它与可见光红外相比具有独特的优势。
随着我国SAR传感器研制技术的进一步发展，先后研制了不同波段，不同极化方式，空间分辨率达到0.3 In的传感器，并在SAR立体测绘方面设计了不同轨道和相同轨道的重复观测，为我国开展SAR技术的相关研究奠定了数据基础。
4.1 根据不同应用目的的SAR图像与可见光图像的融合。
利用SAR和可见光反映地物不同特性的特点，在提取不同土壤性质以及洪水监测和灾害评估方面采用不同的融合方法，取得了一定的理论成果，并完成了国家和部门的科研课题。
4.2 SAR图像噪声去除方法。
由于SAR的成像特点，造成了SAR图像的信噪比低，噪声严重。
提出了自适应滤波思想，基于图斑的去噪方法以及噪声去除方法的评价等。
4.3 机载和星载重复轨道的SAR立体测图技术以及星载的InSAR技术和D—InSAR的突破。
完成了星载InSAR生成DEM及D—InSAR形变检测的相关软件开发，利用极化SAR数据提取地物目标，开展极化干涉测量的研究。
5、多源空间数据挖掘技术
多源空间数据挖掘技术主要研究应用数学方法和专业知识从多源对地观测数据中，提取各种面向应用目的的地学信息。
5.1 从遥感图像数据中挖掘GIS数据。
在统计模式识别的基础上，通过神经网络、模糊识别和专家系统等技术实现图像光谱特征自动分类。
5.2 基于纹理分析的分类识别。
包括基于统计法的纹理分析、基于分形法的纹理分析、基于小波变换的纹理分析、基于结构法的纹理分析、基于模型法的纹理分析和空间/频率域联合纹理分析等。
5.3 遥感图像的解译信息提取。
把计算机自动识别出来的影像，结合GIS数据库或解译员的知识，确定其对应的地学属性。
包括基于GIS数据的图像信息识别、基于地学知识辅助的图像信息识别、基于专家知识辅助的图像信息识别、基于立体观察的图像信息识别、基于矢量栅格转化的信息提取和基于多源数据融合的信息识别等。
摄影测量与遥感的现状及发展趋势【3】
摘 要：随着信息时代的来临，人类社会步入全方位信息时代，各种新兴的科学技术迅猛发展，并广泛应用于人类生活中去。
摄影测量与遥感技术被广泛应用于我国测绘工作去，本文探讨了我国摄影测量与遥感的发展现状以及展望了发展趋势。
关键词：摄影测量;遥感;现状
随着信息时代的来临，人类社会步入全方位信息时代，各种新兴的科学技术迅猛发展，并广泛应用于人类生活中去。
摄影测量经历了模拟摄影测量、解析摄影测量和数字摄影测量三个阶段。
而在这期间，从遥感数据源到遥感数据处理、遥感平台和遥感器以及遥感的理论基础探讨和实际应用，都发生了巨大的变化。
数字地球(digitalearth)的概念是基于信息高速公路的假设和地理空间信息学的高速发展而产生的，数字地球为摄影测量与遥感学科提供了难得一遇的机会和明确的发展方向，与此同时，也向摄影测量和遥感技术提出了一些列的挑战。
而摄影测量和遥感学科是为数字地球提供空间框架图像数据及从数据图像中获得相关信息惟一技术手段
一、国内外摄影测量与遥感的现状
(一)摄影测量现状
摄影测量经历了漫长的发展过程，随着计算机技术以及自动控制技术的高数发展，进入20世纪末期的时候，基于全数字自动测图软件的完成，数字摄影测量工作站获得了迅猛发展并普遍存在于测量工作中。
进入21世纪后，科学技术的提升帮助摄影测量进入了数字化时代，数字摄影测量学学科与计算机科学有了大面积的知识交叉，摄影测量工具也变为较为经济的计算机输入输出设备，这种革命性的变革，使得数字摄影测量提升到了另一个台阶，数字摄影测量的语义信息提取、影像识别与分析等方面均产生了从质到量的变化。
目前我国各省测绘局均已广泛应用了数字摄影测量，建立了数字化测绘生产基地，实现了全数字化摄影测量与全球定位系统之间的有机合成，并且应用与测量实际工作中。
(二)遥感技术现状
目前遥感技术主要应用在日常的天气、海洋、环境预报及灾害监测、土地利用、城市规划、荒漠化监测、环境保护等方面，为社会带来了巨大的经济利益。
尤其要提出的是航天遥感，是利用卫星遥感获取各种信息是目前最有效的方法。
在实现数字地球概念，卫星遥感技术具有很重要的地位。
数字地球的实际意义就是将地球转为一个虚拟的球体，以数字形式来表达地球上的不同种类的信息，实现三维式和多分辨形式的地球描述。
数字地球是一个数量庞大的工程，从长远来看，信息量的更新一集信息的收取都需要卫星遥感技术提供可靠的信息源，换句话说，卫星遥感是实现数字地球的必要手段，也是其他手段不能够替代的。
二、摄影测量与遥感的应用与主要技术
(一)摄影测量与遥感在地籍测量中的应用
应用数字摄影测量与遥感模式进行地籍测量前景非常广阔。
航空航天事业的飞速发展，为高分辨率卫星遥感影像技术为空间地理信息提供主要的数据元。
主要以激光成像雷达、双天线SAR系统等三维数字摄影测量系统。
利用卫星遥感进行土地资源调查和土地利用动态监测，为快速及时的变更地籍测量做好参照，同时还能顺利的完成地籍线画图的测绘，还可以得到正射影像地籍图、三维立体数字地籍图等附属产品。
数字摄影测量主要以大比例尺航空像片为数据采集对象，利用该技术在航片上采集地籍数据，实行空三加密。
数字摄影测量与模式得到的地籍图信息丰富，实时性强;大部分工作均在室内完成，降低劳动强度与人工成本，还能大幅度提高工作效率，是一种非常实用的地籍测量模式。
(二)摄影测量在三维模型表面重建的应用
三维物体的重建技术可广泛应用于古建筑重建和文物保护、医学重建、工业量测、人脸重建、人体重建及程勘察等方面，这种技术主要通过手持量测数码相机进行操作，得到一组具有短基线和多度重叠的图片，通过立体匹配获取可靠的模型点数据。
基于短基线多影像数字摄影测量的快速三维重建技术能够解决静静摄影测量中不能同时兼顾变形早点近景和远景的问题，在操作过程中采用量测数码相机以及手持拍摄方式，使得这种技术简单快速，并且具有高度自动化的有点。
(三)遥感自动定位技术的应用
遥感自动定位技术能够确定影响目标的实际位置，并且准确的解译影响属性，在GPS空中三角测量的基础上，利用惯性导航系统，形成航空影响传感器，实现高精度的定点摄影成像。
在卫星遥感条件下，精度甚至可以达到米级。
遥感自动定位技术的应用，有助于实现实时测图和实时数据更新的作业流程，能够大量减少野外像控测量的工作量。
三、摄影测量与遥感发展展望
目前，摄影测量与遥感技术在数据获取与处理、信息服务和数据分析方面都有了新的进展，数据获取装备发展迅猛，数据处理系统自动化程度相应的提高，航空摄影测量软件实现模块化和标准化，实现了内外一体化的航空摄影测量方法，遥感影像信息管理能力增强。
除此之外，还可以看到测绘领域的全球化进程日益加剧。
四、结语
虽然现在摄影测量与遥感技术相对发展迅速，并且已经广泛应用与测绘工作中，逐步实现数字化与智能化。
在我国目前，摄影测量与遥感装备存在产品种类单一、生产效率低等实际生产问题，这是与飞速发展的信息产业背道而驰的，达不到国际水平。
需要国家发展测绘仪器制造业和专业软件开发能力，跨学科展开合作，集中优势力量，通过政府出台政策来引导市场发展，我国想要在摄影测量与遥感上取得更大的飞跃，还有一段很长的路要走。
参考文献：
[1]李德仁等.地球空间信息学与数字地球[C].空间数据基础设施与数字地球论文集，1999.
[2]刘经南.激光扫描测高技术的发展与现状[M].武汉大学学报，2003(2)：132-137.
[3]郑立中，陈秀万.中国卫星遥感与定位技术应用的现状和发展[A].中国遥感奋进创新二十年学术论丈集[C].北京：气象出版社，2001.
一、资料的收集与分析 遥感制图所需的资料范围较广，一般需要收集如下资料 1、编制地区的普通地图 、 （1）比例尺最好与成图比例尺一致或稍大于成图比例尺 （2）选用面积变形较小的地图投影 2、遥感资料 后几年的影像 在选择遥感图像时，要遵循以下几个原则： （1）空间分辨率及制图比例尺的选择 空间分辨率指像素 代表的地面范围的大小，即扫描仪的瞬时视场或地面物体能分辨的最小单元。 空间分辨率指像素所代表的地面范围的大小，即扫描仪的瞬时视场或地面物体能分辨的最小单元的地面范围的大小 由于遥感制图是利用遥感图像来提取专题制图信息的，因此在选择遥感图像空间分辨率时要考虑以 下两点要素：一是判读目标的最小尺寸，二是地图成图比例尺。遥感图像的空间分辨率与地图比例尺有 密切关系：空间分辨率越高图像可放大的倍数越大，地图的成图比例尺也越大。 遥感图像的比例尺应与成图比例尺一致或象片比例尺稍大于成图比例尺，这样可以避免成图比例尺 大尺度变换的繁琐技术问题。但对于专题要素的判读、分类、描绘来说，往往要选择大于地图比例尺的 象片为宜。 （2）波谱分辨率与波段的选择 波谱分辨率是指传感器在接受目标辐射的波谱时能分辨的最小波长间隔。间隔越小，分辨率越高。 波谱分辨率是指传感器在接受目标辐射的波谱时能分辨的最小波长间隔。间隔越小，分辨率越高。 是指传感器在接受目标辐射的波谱时能分辨的最小波长间隔 波谱分辨率，是由传感器所使用的波段数目，也就是选择的通道数，以及波段的波长和宽度所决定。各 遥感器波普分辨率在设计时， 都是有针对性的， 多波段的传感器提供了空间环境不同的信息。 TM 为例： 以 TM1 蓝波段：对叶绿素和夜色素浓度敏感，用于区分土壤与植被、落叶林与针叶林、近海水域制图。 TM2 绿波段：对无病害植物叶绿素反射敏感 TM3 红波段：对叶绿素吸收敏感，用于区分植物种类。 TM4 近红外波段：对无病害植物近红外反射敏感，用于生物量测定及水域判别。 TM5 中红外波段：对植物含水量和云的不同反射敏感，可判断含水量和雪、云。 TM6 远红外波段：作温度图，植物热强度测量 TM 图象的性质 波段 1 2 3 4 5 6 7 光谱范围 （微米） 0.45—0.52 0.52—0.60 0.63—0.69 0.76—0.90 1.55—1.75 10.4—12.5 2.08—2.35 光谱性质 蓝 绿 红 近红外 中（近）红外 热（中）红外 中红外 地面分辨 率（米） 30 30 30 30 30 120 30 主 要 应 用 地壤与植被分类 健康植物的绿色反射率 探测不同植物的叶绿素吸收 生物量测量，水体制图 植物湿度测量，区分云与雪 植物热强度测量，其它热制图 水热法制图，地质采矿 包括航空象片、卫星象片及它们的底片和磁带、航空象片镶辑图、若为动态监测还需要前 （3）时间分辨率与时相的选择 遥感图像是某一瞬间地面实况的记录，而地理现象是变化、发展的。因此，在一系列按时间序列成像的 遥感图像 多时相遥感图像中，必然存在着最能揭示地理现象本质的“最佳时相”图像 把传感器对同一目标进行重复探测时， 相邻两次探测的时间间隔称为遥感图像的时间分辨率。 Landsat 如 1、2、3 的图像最高时间分辨率为 18 天，Landsat4、5、7 为 16 天，SPOT-4 为 26 天，而静止气象卫星的 时间分辨率仅为半小时。 遥感图像的时间分辨率对动态监测尤为重要。如：天气预报、灾害监测等需要短周期的时间分辨率，因 此常以“小时”为单位。植物、作物的长势监测、估产等需要用“旬”或“日”为单位。 显然只有气象卫星的图像信息才能满足这种要求；研究植被的季相节律、农作物的长势，目前以选择 landsat-TM 或 SPOT 遥感信息为宜。 3、其他资料 土地现状图、土地利用报告 、编图地区的统计资料、政府文件、地方志等 二、确立专题要素的分类系统 三、遥感图像处理 1、遥感图像处理方法的选择 、 （1）光学处理法 常用的方法有：假彩色合成（加色法、减色法）、等密度分割、图像相关掩膜。 （2）数字图像校正 方法：辐射校正、几何校正 （3）数字图像增强的方法： A. 对比度变换 B.空间滤波：是指在图像空间或空间频率对输入图像应用若干滤波函数而获得改进的输出图像的技术。 空间滤波 常用的空间滤波的方法有：平滑和锐化。 ：平滑和锐化 平滑：图像中出现某些亮度变化过大的区域，或出现不该有的亮点（“噪声”）时，采用平滑的方法可以减小变化， 平滑 使亮度平缓或去掉不必要的“噪声”点。具体方法有：均值平滑、中值滤波 均值平滑、 均值平滑 锐化：为了突出图像的边缘、线状目标或某些亮度变化率大的部分，可采用锐化方法。常用的几种方法：罗伯特 锐化 梯度、索伯尔梯度、拉普拉斯算法、定向检测 C.彩色变换 彩色变换就是将黑白图像转换成彩色图像的方法。主用的方法有单波段彩色变换、多波段彩色变换、 彩色变换: 彩色变换 HLS 变换等。 D.图像运算 E.多光谱变换 多光谱变换: 多光谱变换 两幅或多幅单波段影像，完成空间配准后，通过一系列运算，可以实现图像增强，达到提取某些信息 或去掉某些不必要信息的目的。方法：差值运算、比值运算 多光谱变换就是指用某种变换把信息集中于较少（一般为 3 个）波段内。常用的方法有：主成分分 主成分分 变换） 缨帽变换（ 、缨帽变换 变换） 、沃尔什—哈达玛变换、傅立叶变换、植被指数变换、斜变 析（K-L 变换） 缨帽变换（K-T 变换） 、 换、余弦变换等等。 主成分分析（ 变换） 主成分分析（K-L 变换）的主要特性有二： a．能够把原来多个波段中的有用信息尽量集中到数目尽可能少的新的组分图像中。 b．还能够使新的组分图像中的组分之间互不相关，也就是说各个组分包含的信息内容是不重叠的。 K-L 变换的缺点 的缺点是不能排除无用以至有碍的噪声和干扰因素。 的缺点 缨帽变换（ 变换） ：它是 Kauth 和 Thomas（1976 年）通过分析 MSS 图像反映农作物或植被生长过程的数据结 缨帽变换（K-T 变换） 构后，提出的正交线性变换。 K-T 变换的特点：a．能够把原来多个波段中的有用信息压缩到较少的新的波段内。 b．要求新波段正交或近似正交。 c．分离或削弱无用的干扰因素。 （4）多源信息复合 ） 四、遥感图像的判读 1、遥感图像目视判读 遥感图像的判读标志： 遥感图像的判读标志：是指图像上反映出的地物和现象的图像特征，是以深浅不同的黑白色调（灰阶） 或不同的色彩构成的各种各样图形现象出来的。 遥感图像的判读标志可概括为：颜色、形状、空间位置 ：颜色、形状、 颜色——色调、 颜色、 颜色——色调、 颜色、阴影 ——色调 形状——形状、纹理、 大小 、 形状 、 位置——位置、图型、相关布局 位置 2、目视解译的方法 （1）直接判读法（2）对比分析法 （3）信息复合法（4）综合推理法（5）地理相关分析法 （1）直接判读法：是根据遥感影像目视判读直接标志，直接确定目标地物属性与范围的一种方法。 直接判读法 例如，在可见光黑白像片上，水体对光线的吸收率强，反射率低，水体呈现灰黑到黑色，根据色调可以从影像 上直接判读出水体，根据水体的形状则可以直接分辨出水体是河流，或者是湖泊。在 MSS4、5、7 三波段假彩色影 像上，植被颜色为红色，根据地物颜色色调，可以直接区别植物与背景。 （2）对比分析法 此方法包括同类地物对比分析法、空间对比分析法和时相动态对比法。 A.同类地物对比分析法 同类地物对比分析法是在同一景遥感影像上，由已知地物推出未知目标地物的方法。 同类地物对比分析法 B.空间对比分析法 空间对比分析法是根据待判读区域的特点，选择另一个熟悉的与遥感图像区域特征类似的影像，将两个影像相互 空间对比分析法 对比分析，由已知影像为依据判读未知影像的一种方法。 C.时相动态对比法，是利用同一地区不同时间成像的遥感影像加以对比分析，了解同一目标地物动态变化的一种解 .时相动态对比法 译方法。 （3）信息复合法：利用透明专题图或者透明地形图与遥感图像重合，根据专题图或者地形图提供的多种辅助信息， 信息复合法 识别遥感图像上目标地物的方法。 （4）综合推理法：综合考虑遥感图像多种解译特征，结合生活常识，分析、推断某种目标地物的方法。 综合推理法 （5）地理相关分析法：根据地理环境中各种地理要素之间的相互依存，相互制约的关系，借助专业知识，分析推断 地理相关分析法 某种地理要素性质、类型、状况与分布的方法。 3、目视解译的基本步骤 （1）准备工作 •选择合适波段与恰当时相的遥感影像 •相关专题地图的准备 •工具材料准备 •熟悉地理概况 •确定专题分类系统 （2）室内初步解译与判读区的野外考察 室内建立初步判读标志 •初步解译的主要任务是掌握解译区域特点，确立典型解译样区，建立目视解译标志，探索解译方法，为全面解译 奠定基础。 •在室内初步解译的工作重点是建立影像解译标准，为了保证解译标志的正确性和可靠性，必须进行解译区的野外 调查。野外调查之前，需要制定野外调查方案与调查路线。 野外考察验正判读标志 在野外调查中，为了建立研究区的判读标志，必须做大量认真细致的工作，填写各种地物的判读标志登记表， 以作为建立地区性的判读标志的依据。在此基础上，制订出影像判读的专题分类系统，根据目标地物与影像特征之 间的关系，通过影像反复判读和野外对比检验，建立遥感影像判读标志。 （3）室内详细判读 在详细判读过程中，要及时将解译中出现的疑难点、边界不清楚的地方和有待验证的问题详细记录下来，留待野 外验证与补判阶段解决。 （4）野外验证与补判 野外验证指再次到遥感影像判读区去实地核实解译的结果。主要内容包括两方面： •检验专题解译中图斑的内容是否正确。 •验证图斑界线是否定位准确，并根据野外实际考察情况修正目标地物的分布界线。 （5）目视解译成果的转绘与制图 遥感图像目视判读成果，一般以专题图或遥感影像图的形式表现出来。 五、遥感图像计算机解译 图像分类方法 监督分类 1.(1) 最小距离法 最小距离法（minimum distance classifier） •以特征空间中的距离作为像素分类的依据。 •在遥感图象上对每一类别选取一个具有代表意义的统计特征量；计算待分像元与已知类别之间的距离，将其归 属于距离最小的一类。 •最小距离分类法原理简单，分类精度不很高，但计算速度快，它可以在快速浏览分类概况中使用。 (2) 分级切割分类法 分级切割分类法（multi-level slice classifier） 多级切割法（multi-level slice classifier）是根据设定在各轴上的值域分割多维特征空间的分类方法。 (3) 特征曲线窗口法 •特征曲线窗口法分类的依据是：相同的地物在相同的地域环境及成像条件下，其特征曲线是相同或相近的，而不 同地物的特征曲线差别明显。 •特征曲线窗口法分类的效果取决于特征参数的选择和窗口大小。各特征参数窗口大小的选择可以不同，它要根据 地物在各特征参数空间里的分布情况而定。 (4) 最大似然法 最大似然法（maximum likelihood classifier） •地物图象可以以其光谱特征向量 X 作为亮度在光谱特征空间中找到一个相应的特征点，来自于同类地物的各种特 征点在特征空间中将形成一种属于某种概率分布的集群。 • 判别某一特征点类属的合理途径是对其落进不同类别集群中的条件概率进行比较， 相应于条件概率大的那个类别， 应是该特征点的归属。 2、监督分类步骤 （1）选择有代表性的训练场，确定各类地物的范围界线。 （2）对各类地物光谱值统计，提取各地物的数值特征。 （3）确定分类判别函数：最小距离法、马氏距离法等。 （4）分类参数、阈值的确定；各类地物像元数值的分布都围绕一个中心特征值，散布在空间的一定范围，因此需要 给出各类地物类型阈值，限定分布范围，构成分类器。 （5）分类：利用分类器分类。 （6）检验：对初步分类结果精度进行检验（分类精度、面积精度、位置精度等） 对分类器进行调整。 （7）待分类影象分类。 （8）分类结果的矢量化。 非监督分类 前提：遥感影象上同类物体在同样条件下具有相同的光谱信息特征，依靠影象上不同类地物光谱信息（或纹理信息） 进行特征提取，再统计特征的差别来达到分类的目的，最后对已分出的个别类进行确认。 非监督分类方法是在没有先验类别（训练区）作为样本的条件下，即事先不知道类别特征，主要根据像元间相似度 非监督分类方法 的大小进行归类合并（将相似度大的像元归为一类）的方法。主要有： （1）分级集群法（2）动态聚类法 第二节 从影像生成专题地图一、目视解释的专题地图（1）影像预处理 包括遥感数据的图像校正、图像增强，有时还需要实验室提供监督或非监督分类的图像。（2）目视解译 经过建立影像判读标志，野外判读，室内解译，得到绘有图斑的专题解译原图。（3）地图概括 按比例尺及分类的要求，进行专题解译原图的概括。专题地图需要正规的地理底图，所以地图概括的同时也进行图斑向地理底图的转绘。（4）地图整饰 在转绘完专题图斑的地理底图上进行专题地图的整饰工作。二、数字图像处理的专题制图（1）影像预处理 同目视解译类似，影响经过图像校正、图像增强，得到供计算机分类用的遥感影像数据。（2）按专题要求进行影像分类。（3）专题类别的地图概括 包括在预处理中消除影像的孤立点，依成图比例尺对图斑尺寸的限制进行栅格影像的概括。（4）图斑的栅格/矢量变换。（5）与地理底图叠加，生成专题地图。三、遥感系列制图系列地图，简单说就是在内容上和时间上有关联的一组地图。我们所讨论的系列地图，是指根据共同的制图目的，利用同一的制图信息源，按照统一的设计原则，成套编制的遥感专题地图。地理底图的编制程序：采用常规的方法编制地理底图时，首先选择制图范围内相应比例尺的地形图，进行展点、镶嵌、照像，制成地图薄膜片，然后将膜片蒙在影像图上，用以更新地形图的地理要素。经过地图概括，最后制成供转绘专题影像图的地理底图，其比例尺与专题影响图相同。遥感系列制图的基本要求1.统一信息源2.统一对制图区域地理特征的认识3.制定统一的设计原则4.按一定的规则顺序成图
小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点，小目标的检测精度通常只有大目标的一半。
CVPR2019论文: Augmentation for small object detection 提到了一些应对小目标检测的方法，笔者结合这篇论文以及查阅其它资料，对小目标检测相关技巧在本文进行了部分总结。
小目标的定义： 在MS COCO数据集中，面积小于 32*32 的物体被认为是小物体。
小目标难以检测的原因： 分辨率低，图像模糊，携带的信息少。由此所导致特征表达能力弱，也就是在提取特征的过程中，能提取到的特征非常少，这不利于我们对小目标的检测。
1、由于小目标面积太小，可以放大图片后再做检测，也就是在尺度上做文章，如FPN（Feature Pyramid Networks for Object Detection），SNIP（An Analysis of Scale Invariance in Object Detection – SNIP)。
Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的论文。
2、在Anchor上做文章(Faster Rcnn，SSD, FPN都有各自的anchor设计)，anchor在设置方面需要考虑三个因素：
anchor的密度： 由检测所用feature map的stride决定，这个值与前景阈值密切相关。
anchor的范围： RetinaNet中是anchor范围是32~512，这里应根据任务检测目标的范围确定，按需调整anchor范围，或目标变化范围太大如MS COCO，这时候应采用多尺度测试。
anchor的形状数量： RetinaNet每个位置预测三尺度三比例共9个形状的anchor，这样可以增加anchor的密度，但stride决定这些形状都是同样的滑窗步进，需考虑步进会不会太大，如RetinaNet框架前景阈值是0.5时，一般anchor大小是stride的4倍左右。
该部分anchor内容参考于:
3、在ROI Pooling上做文章，文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 认为小目标在pooling之后会导致物体结构失真，于是提出了新的Context-Aware RoI Pooling方法。
4、用生成对抗网络(GAN)来做小目标检测：Perceptual Generative Adversarial Networks for Small Object Detection。
1、从COCO上的统计图可以发现，小目标的个数多，占到了41.43%，但是含有小目标的图片只有51.82%，大目标所占比例为24.24%，但是含有大目标的图像却有82.28%。这说明有一半的图像是不含小目标的，大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中，模型有一半的时间是学习不到小目标的特性的。
此外，对于小目标，平均能够匹配的anchor数量为1个，平均最大的IoU为0.29，这说明很多情况下，有些小目标是没有对应的anchor或者对应的anchor非常少的，即使有对应的anchor，他们的IoU也比较小，平均最大的IoU也才0.29。
如上图，左上角是一个anchor示意图，右上角是一个小目标所对应的anchor，一共有只有三个anchor能够与小目标配对，且配对的IoU也不高。左下角是一个大目标对应的anchor，可以发现有非常多的anchor能够与其匹配。匹配的anchor数量越多，则此目标被检出的概率也就越大。
实现方法： 1、Oversampling ：我们通过在训练期间对这些图像进行过采样来解决包含小对象的相对较少图像的问题（多用这类图片）。在实验中，我们改变了过采样率和研究不仅对小物体检测而且对检测中大物体的过采样效果
2、Copy-Pasting Strategies：将小物体在图片中复制多分，在保证不影响其他物体的基础上，增加小物体在图片中出现的次数（把小目标扣下来贴到原图中去），提升被anchor包含的概率。
如上图右下角，本来只有一个小目标，对应的anchor数量为3个，现在将其复制三份，则在图中就出现了四个小目标，对应的anchor数量也就变成了12个，大大增加了这个小目标被检出的概率。从而让模型在训练的过程中，也能够有机会得到更多的小目标训练样本。
具体的实现方式如下图：图中网球和飞碟都是小物体，本来图中只有一个网球，一个飞碟，通过人工复制的方式，在图像中复制多份。同时要保证复制后的小物体不能够覆盖该原来存在的目标。
网上有人说可以试一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ，这是一种在视频跟踪/分割里面比较有效的数据增强手段，据说对于小目标物体检测也很有效。
基于无人机拍摄图片的检测目前也是个热门研究点（难点是目标小，密度大）。 相关论文： The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking（数据集） Drone-based Object Counting by Spatially Regularized Regional Proposal Network Simultaneously Detecting and Counting Dense Vehicles from Drone Images Vision Meets Drones: A Challenge（数据集）
1: 2: 3: 4: 5: 6: 7:
小目标检测几点总结 一、单阶段目标检测主要步骤： 1、特征提取骨干网络设计 2、分类头网络设计 3、回归头网络设计 4、anchor生成设计：anchor尺度与比例 5、anchor匹配机制 6、损失函数设计 7、数据增强技术应用 二、航空图像特点： 1、目标尺度变化大：以中、小目标为主（评判标准？）； 2、目标旋转变化较大：尤其对于下视图像，同一类目标存在多角度变化；（旋转框检测） 3、场景明暗变化：存在过曝光和光线不充足等场景； 4、场景内目标疏密变化：存在目标密度极大的场景，也存在非常稀疏的场景； 5、图像视场大，单个目标较小，背景较为复杂； 6、单幅图像分辨率较高； 7、目标相对运动存在模糊现象； 8、目标遮挡现象； 三、小目标检测需注意的几点： 1、小目标所含像素信息小，主要纹理信息缺失，边缘信息相对明显； 2、小目标所含像素较少，信号微弱，需得到一定增强或考虑上下文环境信息辅助推理； 3、提高小目标分辨率，增强信号强度； 4、CNN底层特征预测具有较好的结构信息，顶层具有更多的语义信息。好的特征融合策略可以提取语义信息和结构信息俱佳的特征； 5、级联CNN思想； 6、感受野需根据目标尺度而选取。小感受野捕获不了完整信息，大感受野引入更多背景噪声（小目标对感受野更加敏感）； 7、Anchor尺度和比例的选取和与GT匹配机制，保证更多的anchor匹配到小目标上； 8、可以从定位和识别两个角度单独思考，设计专门的分类头和回归头（分类所需特征与检测所需特征之间具有一定偏移）。 四、小目标检测可行的几点方法： 1、多尺度训练与测试； 2、数据增强 3、特征融合模块设计 4、特征增强模块设计 5、上下文推理模块设计 6、膨胀卷积的利用 7、Anchor free是一个趋势 8、Focal loss 9、特征提取骨干网络设计 10、动态区域放大机制：基于强化学习 11、超分辨率重建 12、注意力机制（利用上层语义信息生成注意力）
论文查重是完成论文整个写作的必要环节，但对于第一次接触论文的学生来说，应该有很多事情缺乏理解，不知道如何处理，那么论文检测的步骤是什么呢？接下来介绍一下相关内容。 检测论文的步骤。 1.首先要做的是选择一个可靠的论文检测系统，比如paperfree、papertime值得我们信赖，但需要注意的是，学校内部查重系统不对外开放，我们使用学校系统查重一般是学校提供的检测入口；但是，Paperfree等检测系统可以随时多次检测。 2.选择论文检测网站后，可以在选定的论文检测网站上注册或直接登录账户，然后点击查重入口查重。但需要注意的是，查重入口一般有几个不同的分类，如本科论文检测、职称论文检测等。注意不要点错。 3.然后输入论文的相关信息，点击上传论文。上传论文时，要注意论文的格式是否正确。如果论文检测系统要求word文档，不要上传到PDF格式，因为这对检测结果也有很大影响。 4.论文检测时间一般为10-30分钟。检测结束后，我们可以下载论文检测报告。 5.拿到论文测试报告后，我们需要做的是根据测试报告中的内容对论文进行有针对性的修改，修改完成后再次进行检测和修改，步骤与上述内容一致。
论文的检测一般需要以下步骤：1、用户进入论文检测首页，在首页中先查看每个查重系统的描述，之后点击选择合适的论文检测系统。2、进入检测页面后，输入论文的题目和作者后，点击开始上传按钮，将论文上传至查重系统中，确认无误后，点击提交检测按钮。3、等待30分钟-60分钟左右的查重时间后，用户点击下载检测报告按钮，输入论文查重订单编号，用户即可下载论文查重报告单至电脑本地中。
医学 论文 是 科技 论文的一个分支 学科 ，是报道 自然 科学研究和技术开发创新性工作成果的论说文章，是阐述原始研究结果并公开发表的书面 报告 。医学 论文格式 由以下6部分组成：论文题目;作者署名、工作单位和邮编;摘要(目的、方法、结果、结论);关健词;正文(资料与方法、结果、结论)参考文献。
今天学习啦小编要与大家分享的是 :如何写好医学检验论文？ ;希望能帮助到大家!
1) 什么是文献综述?
文献综述是研究者在其提前阅读过某一主题的文献后，经过理解、整理、融会贯通，综合分析和评价而组成的一种不同于研究论文的文体。
2) 文献综述的写作要求
1、文献综述的格式
文献综述的格式与一般研究性论文的格式有所不同。这是因为研究性的论文注重研究的方法和结果，而文献综述介绍与主题有关的详细资料、动态、进展、展望以及对以上方面的评述。因此文献综述的格式相对多样，但总的来说，一般都包含以下四部分：即前言、主题、总结和参考文献。撰写文献综述时可按这四部分拟写提纲，再根据提纲进行撰写工作。
前言，要用简明扼要的文字说明写作的目的、必要性、有关概念的定义，综述的范围，阐述有关问题的现状和动态，以及目前对主要问题争论的焦点等。前言一般200-300字为宜，不宜超过500字。
正文，是综述的重点，写法上没有固定的格式，只要能较好地表达综合的内容，作者可创造性采用诸多形式。正文主要包括论据和论证两个部分，通过提出问题、分析问题和解决问题，比较不同学者对同一问题的看法及其理论依据，进一步阐明问题的来龙去脉和作者自己的见解。当然，作者也可从问题发生的 历史 背景、目前现状、发展方向等提出文献的不同观点。正文部分可根据内容的多少可分为若干个小标题分别论述。
小结，是结综述正文部分作扼要的总结，作者应对各种观点进行综合评价，提出自己的看法，指出存在的问题及今后发展的方向和展望。内容单纯的综述也可不写小结。
参考文献，是综述的重要组成部分。一般参考文献的多少可体现作者阅读文献的广度和深度。对综述类论文参考文献的数量不同杂志有不同的要求，一般以30条以内为宜，以最近3-5年内的最新文献为主。
2、文献综述规定
1. 为了使选题报告有较充分的依据，要求硕士研究生在论文开题之前作文献综述。
2. 在文献综述时，研究生应系统地查阅与自己的研究方向有关的国内外文献。通常阅读文献不少于30篇，且文献搜集要客观全面
3. 在文献综述中，研究生应说明自己研究方向的发展历史，前人的主要研究成果，存在的问题及发展趋势等。
4. 文献综述要条理清晰，文字通顺简练。
5. 资料运用恰当、合理。文献引用用方括号[ ]括起来置于引用词的右上角。
6. 文献综述中要有自己的观点和见解。不能混淆作者与文献的观点。鼓励研究生多发现问题、多提出问题、并指出分析、解决问题的可能途径，针对性强。
7. 文献综述不少于3000字。
3、 注意事项
⒈ 搜集文献应尽量全。掌握全面、大量的文献资料是写好综述的前提，否则，随便搜集一点资料就动手撰写是不可能写出好的综述。
⒉ 注意引用文献的代表性、可靠性和科学性。在搜集到的文献中可能出现观点雷同，有的文献在可靠性及科学性方面存在着差异，因此在引用文献时应注意选用代表性、可靠性和科学性较好的文献。
⒊ 引用文献要忠实文献内容。由于文献综述有作者自己的评论分析，因此在撰写时应分清作者的观点和文献的内容，不能篡改文献的内容。引用文献不过多。文献综述的作者引用间接文献的现象时有所见。如果综述作者从他人引用的参考文献转引过来，这些文献在他人引用时是否恰当，有无谬误，综述作者是不知道的，所以最好不要间接转引文献。
⒋ 参考文献不能省略。有的科研论文可以将参考文献省略，但文献综述绝对不能省略，而且应是文中引用过的，能反映主题全貌的并且是作者直接阅读过的文献资料。
5.综述篇幅不可太长。杂志编辑部对综述的字数一般都有一定数量的约定。作者在初写综述时，往往不注意这点，造成虚话、空话较多，重点不突出。综述一般不宜超过4000字。 综述并不是简单的文献罗列，综述一定有作者自己的综合和归纳。有的综述只是将文献罗列，看上去像流水帐，没有作者自己的综合与分析，使人看后感到重复、费解，材料与评述协调。
我们对论文检测并不陌生。除了毕业生写的论文，发表的论文也需要检测。那么检测论文的步骤是什么？发表一篇论文还是有难度的。你的论文前提要足够新颖，除此之外，还要有研究价值。还有一个基本条件就是你的论文重复率要达到规定的要求。发表论文的检查流程与本科论文相同。您可以选择相同的检查系统进行重复检查。他没有强制要求使用哪种检查系统进行重复检查。但小编建议，你还是要选择市面上比较流行的，重复率比较准确的论文检测系统，这样才能保证你的论文重复率能达到规定的要求，重复率也比较准确。选择系统后，只需将需要查重的论文上传到系统，论文查重系统就会对你的论文进行查重。如果你连续重复13个单词，系统会用红色字体标记你的内容。这时候你只需要静静等待，检查结果就会以PDF或者网页版的形式显示出来。你可以根据测试报告中的信息修改论文。重复率达不到规定要求的，需要再次送审，直至重复率达不到规定要求，论文不能发表。
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 0.3来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为0.5。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为0.5 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有0.2个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为0.5的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化45.3%的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是0.29，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：