发布时间：
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
论文原文：
YOLO（you only look once）是继RCNN、faster-RCNN之后，又一里程碑式的目标检测算法。yolo在保持不错的准确度的情况下，解决了当时基于深度学习的检测中的痛点---速度问题。下图是各目标检测系统的检测性能对比：
如果说faster-RCNN是真正实现了完全基于深度学习的端到端的检测，那么yolo则是更进一步，将 目标区域预测 与 目标类别判断 整合到单个神经网络模型中。各检测算法结构见下图：
每个网格要预测B个bounding box，每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息，其值是这样计算的：
其中如果有object落在一个grid cell里，第一项取1，否则取0。第二项是预测的bounding box和实际的groundtruth之间的IoU值。
每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。即SxS个网格，每个网格除了要预测B个bounding box外，还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。（注意：class信息是针对每个网格的，即一个网格只预测一组类别而不管里面有多少个bounding box，而confidence信息是针对每个bounding box的。）
举例说明: 在PASCAL VOC中，图像输入为448x448，取S=7，B=2，一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。整个网络结构如下图所示：
在test的时候，每个网格预测的class信息和bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:
等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。
得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS（非极大值抑制non-maximum suppresssion）处理，就得到最终的检测结果。
1、每个grid因为预测两个bounding box有30维（30=2*5+20），这30维中，8维是回归box的坐标，2维是box的confidence，还有20维是类别。其中坐标的x,y用bounding box相对grid的offset归一化到0-1之间，w,h除以图像的width和height也归一化到0-1之间。
2、对不同大小的box预测中，相比于大box预测偏一点，小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。为了缓和这个问题，作者用了一个比较取巧的办法，就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解，小box的横轴值较小，发生偏移时，反应到y轴上相比大box要大。其实就是让算法对小box预测的偏移更加敏感。
3、一个网格预测多个box，希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大，就负责哪个。这种做法称作box predictor的specialization。
4、损失函数公式见下图：
在实现中，最主要的就是怎么设计损失函数，坐标（x,y,w,h），confidence，classification 让这个三个方面得到很好的平衡。简单的全部采用sum-squared error loss来做这件事会有以下不足：
解决方法：
只有当某个网格中有object的时候才对classification error进行惩罚。只有当某个box predictor对某个ground truth box负责的时候，才会对box的coordinate error进行惩罚，而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。
作者采用ImageNet 1000-class 数据集来预训练卷积层。预训练阶段，采用网络中的前20卷积层，外加average-pooling层和全连接层。模型训练了一周，获得了top-5 accuracy为（ImageNet2012 validation set），与GoogleNet模型准确率相当。
然后，将模型转换为检测模型。作者向预训练模型中加入了4个卷积层和两层全连接层，提高了模型输入分辨率（224×224->448×448）。顶层预测类别概率和bounding box协调值。bounding box的宽和高通过输入图像宽和高归一化到0-1区间。顶层采用linear activation，其它层使用 leaky rectified linear。
作者采用sum-squared error为目标函数来优化，增加bounding box loss权重，减少置信度权重，实验中，设定为\lambda _{coord} =5 and\lambda _{noobj}= 。
作者在PASCAL VOC2007和PASCAL VOC2012数据集上进行了训练和测试。训练135轮，batch size为64，动量为，学习速率延迟为。Learning schedule为：第一轮，学习速率从缓慢增加到（因为如果初始为高学习速率，会导致模型发散）；保持速率到75轮；然后在后30轮中，下降到；最后30轮，学习速率为。
作者还采用了dropout和 data augmentation来预防过拟合。dropout值为；data augmentation包括：random scaling，translation，adjust exposure和saturation。
YOLO模型相对于之前的物体检测方法有多个优点：
1、 YOLO检测物体非常快
因为没有复杂的检测流程，只需要将图像输入到神经网络就可以得到检测结果，YOLO可以非常快的完成物体检测任务。标准版本的YOLO在Titan X 的 GPU 上能达到45 FPS。更快的Fast YOLO检测速度可以达到155 FPS。而且，YOLO的mAP是之前其他实时物体检测系统的两倍以上。
2、 YOLO可以很好的避免背景错误，产生false positives
不像其他物体检测系统使用了滑窗或region proposal，分类器只能得到图像的局部信息。YOLO在训练和测试时都能够看到一整张图像的信息，因此YOLO在检测物体时能很好的利用上下文信息，从而不容易在背景上预测出错误的物体信息。和Fast-R-CNN相比，YOLO的背景错误不到Fast-R-CNN的一半。
3、 YOLO可以学到物体的泛化特征
当YOLO在自然图像上做训练，在艺术作品上做测试时，YOLO表现的性能比DPM、R-CNN等之前的物体检测系统要好很多。因为YOLO可以学习到高度泛化的特征，从而迁移到其他领域。
尽管YOLO有这些优点，它也有一些缺点：
1、YOLO的物体检测精度低于其他state-of-the-art的物体检测系统。
2、YOLO容易产生物体的定位错误。
3、YOLO对小物体的检测效果不好（尤其是密集的小物体，因为一个栅格只能预测2个物体）。
论文: EfficientDet: Scalable and Efficient Object Detection
目前目标检测领域，高精度的模型通常需要很大的参数量和计算量，而轻量级的网络则一般都会牺牲精度。因此，论文希望建立一个可伸缩的高精度且高性能的检测框架。论文基于one-stage的检测网络范式，进行了多种主干网络、特征融合和class/box预测的结构尝试，主要面临两个挑战:
FPN是目前最广泛的多尺度融合方法，最近也有PANet和NAS-FPN一类跨尺度特征融合方法。对于融合不同的特征，最初的方法都只是简单地直接相加，然而由于不同的特征是不同的分辨率，对融合输出特征的共享应该是不相等的。为了解决这一问题，论文提出简单但高效加权的bi-directional feature pyramid network(BiFPN)，该方法使用可学习的权重来学习不同特征的重要性，同时反复地进行top-down和bottom-up的多尺度融合
论文认为除了缩放主干网络和输入图片的分辨率，特征网络(feature network)和box/class预测网络的缩放对准确率和性能也是很重要的。作者借鉴EfficientNet，提出针对检测网络的混合缩放方法(compound scaling method)，同时对主干网络，特征网络和box/class预测网络的分辨率/深度/宽度进行缩放
最后，论文将EfficientNet作为主干，结合BiFPN和混合缩放，提出新的检测系列EfficientDet，精度高且轻量，COCO上的结果如图1，论文的贡献有以下3点：
定义多尺寸特征 ，论文的目标是找到变化函数 来高效融合不同的特征，输出新特征 。具体地，图2a展示了top-down FPN网络结构，一般FPN只有一层，这里应该为了对比写了repeat形式。FPN获取3-7层的输入 ， 代表一个分辨率为 的特征层
top-down FPN操作如上所示， 为上采用或下采样来对齐分辨率， 通常是特征处理的卷积操作
top-down FPN受限于单向的信息流，为了解决这一问题，PANet(图2b)增加了额外的bottom-up路径的融合网络，NAS_FPN(图2c)使用神经架构搜索来获取更好的跨尺度特征网络的拓扑结构，但需要大量资源进行搜索。其中准确率最高的是PANet，但是其需要太多的参数和计算量，为了提高性能，论文对跨尺寸连接做了几点改进：
大多的特征融合方法都将输入特征平等对待，而论文观察到不同分辨率的输入对融合输出的特征的贡献应该是不同的。为了解决这一问题，论文提出在融合时对输入特征添加额外的权重预测，主要有以下方法：
， 是可学习的权重，可以是标量(per-feature)，也可以是向量(per-channel)，或者是多维tensor(per-pixel)。论文发现标量形式已经足够提高准确率，且不增加计算量，但是由于标量是无限制的，容易造成训练不稳定，因此，要对其进行归一化限制
，利用softmax来归一化所有的权重，但softmax操作会导致GPU性能的下降，后面会详细说明
，Relu保证 ， 保证数值稳定。这样，归一化的权重也落在 ，由于没有softmax操作，效率更高，大约加速30%
BiFPN集合了双向跨尺寸的连接和快速归一化融合，level 6的融合操作如上， 为top-down路径的中间特征， 是bottom-up路径的输出特征，其它层的特征也是类似的构造方法。为了进一步提高效率，论文特征融合时采用depthwise spearable convolution，并在每个卷积后面添加batch normalization和activation
EfficientDet的结构如图3所示，基于one-stage检测器的范式，将ImageNet-pretrained的EfficientNet作为主干，BiFPN将主干的3-7层特征作为输入，然后重复进行top-down和bottom-up的双向特征融合，所有层共享class和box网络
之前检测算法的缩放都是针对单一维度的，从EfficientNet得到启发，论文提出检测网络的新混合缩放方法，该方法使用混合因子 来同时缩放主干网络的宽度和深度、BiFPN网络、class/box网络和分辨率。由于缩放的维度过多，EfficientNet使用的网格搜索效率太慢，论文改用heuristic-based的缩放方法来同时缩放网络的所有维度
EfficientDet重复使用EfficientNet的宽度和深度因子，EfficinetNet-B0至EfficientNet-B6
论文以指数形式来缩放BiFPN宽度 (#channels)，而以线性形式增加深度 (#layers)，因为深度需要限制在较小的数字
box/class预测网络的宽度固定与BiFPN的宽度一致，而用公式2线性增加深度(#layers)
因为BiFPN使用3-7层的特征，因此输入图片的分辨率必需能被 整除，所以使用公式3线性增加分辨率
结合公式1-3和不同的 ，论文提出EfficientDet-D0到EfficientDet-D6，具体参数如Table 1，EfficientDet-D7没有使用 ，而是在D6的基础上增大输入分辨率
模型训练使用momentum=和weight decay=4e-5的SGD优化器，在初始的5%warm up阶段，学习率线性从0增加到，之后使用余弦衰减规律(cosine decay rule)下降，每个卷积后面都添加Batch normalization，batch norm decay=，epsilon=1e-4，梯度使用指数滑动平均，decay=，采用 和 的focal loss，bbox的长宽比为 ，32块GPU，batch size=128，D0-D4采用RetinaNet的预处理方法，D5-D7采用NAS-FPN的增强方法
Table 2展示了EfficientDet与其它算法的对比结果，EfficientDet准确率更高且性能更好。在低准确率区域，Efficient-D0跟YOLOv3的相同准确率但是只用了1/28的计算量。而与RetianaNet和Mask-RCNN对比，相同的准确率只使用了1/8参数和1/25的计算量。在高准确率区域，EfficientDet-D7达到了，比NAS-FPN少使用4x参数量和计算量，而anchor也仅使用3x3，非9x9
论文在实际的机器上对模型的推理速度进行了对比，结果如图4所示，EfficientDet在GPU和CPU上分别有和加速
论文对主干网络和BiFPN的具体贡献进行了实验对比，结果表明主干网络和BiFPN都是很重要的。这里要注意的是，第一个模型应该是RetinaNet-R50(640)，第二和第三个模型应该是896输入，所以准确率的提升有一部分是这个原因。另外使用BiFPN后模型精简了很多，主要得益于channel的降低，FPN的channel都是256和512的，而BiFPN只使用160维，这里应该没有repeat
Table 4展示了Figure 2中同一网络使用不同跨尺寸连接的准确率和复杂度，BiFPN在准确率和复杂度上都是相当不错的
Table 5展示了不同model size下两种加权方法的对比，在精度损失不大的情况下，论文提出的fast normalized fusion能提升26%-31%的速度
figure 5展示了两种方法在训练时的权重变化过程，fast normalizaed fusion的变化过程与softmax方法十分相似。另外，可以看到权重的变化十分快速，这证明不同的特征的确贡献是不同的，
论文对比了混合缩放方法与其它方法，尽管开始的时候相差不多，但是随着模型的增大，混合精度的作用越来越明显
论文提出BiFPN这一轻量级的跨尺寸FPN以及定制的检测版混合缩放方法，基于这些优化，推出了EfficientDet系列算法，既保持高精度也保持了高性能，EfficientDet-D7达到了SOTA。整体而言，论文的idea基于之前的EfficientNet，创新点可能没有之前那么惊艳，但是从实验来看，论文推出的新检测框架十分实用，期待作者的开源
论文原文：
YOLO（you only look once）是继RCNN、faster-RCNN之后，又一里程碑式的目标检测算法。yolo在保持不错的准确度的情况下，解决了当时基于深度学习的检测中的痛点---速度问题。下图是各目标检测系统的检测性能对比：
如果说faster-RCNN是真正实现了完全基于深度学习的端到端的检测，那么yolo则是更进一步，将 目标区域预测 与 目标类别判断 整合到单个神经网络模型中。各检测算法结构见下图：
每个网格要预测B个bounding box，每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息，其值是这样计算的：
其中如果有object落在一个grid cell里，第一项取1，否则取0。第二项是预测的bounding box和实际的groundtruth之间的IoU值。
每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。即SxS个网格，每个网格除了要预测B个bounding box外，还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。（注意：class信息是针对每个网格的，即一个网格只预测一组类别而不管里面有多少个bounding box，而confidence信息是针对每个bounding box的。）
举例说明: 在PASCAL VOC中，图像输入为448x448，取S=7，B=2，一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。整个网络结构如下图所示：
在test的时候，每个网格预测的class信息和bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:
等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。
得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS（非极大值抑制non-maximum suppresssion）处理，就得到最终的检测结果。
1、每个grid因为预测两个bounding box有30维（30=2*5+20），这30维中，8维是回归box的坐标，2维是box的confidence，还有20维是类别。其中坐标的x,y用bounding box相对grid的offset归一化到0-1之间，w,h除以图像的width和height也归一化到0-1之间。
2、对不同大小的box预测中，相比于大box预测偏一点，小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。为了缓和这个问题，作者用了一个比较取巧的办法，就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解，小box的横轴值较小，发生偏移时，反应到y轴上相比大box要大。其实就是让算法对小box预测的偏移更加敏感。
3、一个网格预测多个box，希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大，就负责哪个。这种做法称作box predictor的specialization。
4、损失函数公式见下图：
在实现中，最主要的就是怎么设计损失函数，坐标（x,y,w,h），confidence，classification 让这个三个方面得到很好的平衡。简单的全部采用sum-squared error loss来做这件事会有以下不足：
解决方法：
只有当某个网格中有object的时候才对classification error进行惩罚。只有当某个box predictor对某个ground truth box负责的时候，才会对box的coordinate error进行惩罚，而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。
作者采用ImageNet 1000-class 数据集来预训练卷积层。预训练阶段，采用网络中的前20卷积层，外加average-pooling层和全连接层。模型训练了一周，获得了top-5 accuracy为（ImageNet2012 validation set），与GoogleNet模型准确率相当。
然后，将模型转换为检测模型。作者向预训练模型中加入了4个卷积层和两层全连接层，提高了模型输入分辨率（224×224->448×448）。顶层预测类别概率和bounding box协调值。bounding box的宽和高通过输入图像宽和高归一化到0-1区间。顶层采用linear activation，其它层使用 leaky rectified linear。
作者采用sum-squared error为目标函数来优化，增加bounding box loss权重，减少置信度权重，实验中，设定为\lambda _{coord} =5 and\lambda _{noobj}= 。
作者在PASCAL VOC2007和PASCAL VOC2012数据集上进行了训练和测试。训练135轮，batch size为64，动量为，学习速率延迟为。Learning schedule为：第一轮，学习速率从缓慢增加到（因为如果初始为高学习速率，会导致模型发散）；保持速率到75轮；然后在后30轮中，下降到；最后30轮，学习速率为。
作者还采用了dropout和 data augmentation来预防过拟合。dropout值为；data augmentation包括：random scaling，translation，adjust exposure和saturation。
YOLO模型相对于之前的物体检测方法有多个优点：
1、 YOLO检测物体非常快
因为没有复杂的检测流程，只需要将图像输入到神经网络就可以得到检测结果，YOLO可以非常快的完成物体检测任务。标准版本的YOLO在Titan X 的 GPU 上能达到45 FPS。更快的Fast YOLO检测速度可以达到155 FPS。而且，YOLO的mAP是之前其他实时物体检测系统的两倍以上。
2、 YOLO可以很好的避免背景错误，产生false positives
不像其他物体检测系统使用了滑窗或region proposal，分类器只能得到图像的局部信息。YOLO在训练和测试时都能够看到一整张图像的信息，因此YOLO在检测物体时能很好的利用上下文信息，从而不容易在背景上预测出错误的物体信息。和Fast-R-CNN相比，YOLO的背景错误不到Fast-R-CNN的一半。
3、 YOLO可以学到物体的泛化特征
当YOLO在自然图像上做训练，在艺术作品上做测试时，YOLO表现的性能比DPM、R-CNN等之前的物体检测系统要好很多。因为YOLO可以学习到高度泛化的特征，从而迁移到其他领域。
尽管YOLO有这些优点，它也有一些缺点：
1、YOLO的物体检测精度低于其他state-of-the-art的物体检测系统。
2、YOLO容易产生物体的定位错误。
3、YOLO对小物体的检测效果不好（尤其是密集的小物体，因为一个栅格只能预测2个物体）。
3d打印技术的发展，给我们的工作生活带来了很大的便利。下文是我整理了3d打印技术论文 总结 范文 ，欢迎大家阅读!3d打印技术论文总结范文篇一：《三维打印快速成形技术及其应用》 摘 要： 文章 对三维打印快速成形技术进行了分析，研究了三维打印快速成形技术的实现方案，并就其系统结构的运行方式做出了说明，最后对三维打印快速成形技术在多个行业领域中应用价值的实现进行了剖析，望能够引起各方人员的关注与重视，促进其进一步发展。 关键词：三维打印;快速成形技术;系统结构;应用 三维打印快速成形技术的核心是：建立在微喷射原理基础之上，通过喷射方式自喷嘴中喷出一定的液态微滴，在此基础之上根据预先设置的路径逐层打印并成形。相对于传统意义上的立体印刷技术或者是叠层实体制造技术而言，三维打印快速成形技术有着非常确切的优势，包括对激光系统要求较低，设备投入资金较少，运行性能可靠，维护工作量少，成本低廉等多个方面。同时，三维打印快速成形技术能够在常温环境下操作，运行安全可靠，可适用的成形材料类型众多，价格均衡，有实践价值。因此，三维打印快速成形技术已成为当前整个快速成形行业中最具综合发展潜力与空间的技术手段之一，有着非常广阔的应用前景。文章即围绕三维打印快速成形技术的实现及其应用要点展开分析，望引起重视。 1.三维打印快速成形技术的实现 从喷射材料上入手，可对三维打印快速成形技术的实现方案进行分类，主要有两种类型：第一是建立在粘结成形基础之上的三维打印快速成形技术，第二是建立在直接成形基础之上的三维打印快速成形技术。具体分析如下： 粘结成形下的三维打印快速成形技术 下图(如图1)为粘结成形下三维打印快速成形技术的基本工作原理。在本技术方案实施下，首先需要在工作台上均匀铺设一层粉末状材料，然后参照零件截面形态，将粘结材料有选择性的打印至粉末层上，使实体区域内的粉末材料完全粘结起来，形成截面对应的轮廓，打印完一层后将工作台向下移动，然后重复以上操作步骤，直至完成整个工件。 直接成形下的三维打印快速成形技术 下图(如图2)为直接成形下三维打印快速成形技术的基本工作原理。在本技术方案实施下，首先需要根据待打印的零件截面形状，控制打印头在截面有实体的区域内打印光固化实体材料，同时需要在可支撑区域内对固化支撑材料进行打印，然后利用紫外灯照射技术，在光固化材料的基础之上同步进行边固化打印工作。逐层进行固化处理直至完成对整个工件的打印工作，最后将支撑材料去除掉，以得到对应的成形工件。 2.三维打印快速成形系统结构 在三维打印快速成形技术实现的过程当中，主要的工作流程为：第一步，采集粉末原料;第二步，将粉末平铺至打印区域当中;第三步，在模型横截面上对打印机喷头进行定位，同时喷涂适当的黏结剂成分;第四步，送粉活塞上升同时实体模型下降，以继续打印;第五步，重复以上操作直至模型打印作业完成;第六步，将多余粉末去除掉，对模型进行固化。建立在该技术基础之上，整个三维打印快速成型系统运行需要完成的动作流程包括：打印喷头沿X轴向以及Y轴向的扫描运动，成型腔活塞沿Z轴向运动，储粉腔活塞沿Z轴向运动，铺粉辊筒转向运动以及平向运动等。其中，喷头X轴向运动采取的是传统喷墨打印机 操作系统 中的字车运动系统，引入光栅技术进行检测，X轴向打印精度可以达到5670dpi单位以上。同时，喷头Y轴向扫描运动能够带动打印机沿与X轴垂直的方向匀速动作，双侧驱动方式为步进电机驱动，光栅检测，闭环控制，三维打印成形中的定位精度可以达到级别。同时，整个三维打印快速成形系统还可以通过应用步进电机的方式为涡轮减速器提供驱动作用力，以驱动丝杆螺母运动，在半闭环条件下实现对铺粉厚度的合理控制(注：铺粉电机运动仅需要控制电机的启停状态，同时配合合理设置转动速度的方式完成工作任务，即应用常规直流电机就能够满足相应的工作要求)。 3.三维打印快速成形技术的实际应用 三维打印快速成形技术在生物工程领域中的应用 生物工程领域研究中对无生物活性支架以及假体的制作一直都是备受关注的工作内容之一，传统技术手段需要对生物活性材料进行激光加热或烧结，对材料的生物活性有不良影响。而通过对三维打印快速成形技术的应用，能够将参与生命体代谢行为且可降解的组织工程材料制成内部结构具有多孔疏松特性的人工骨材料，将活性因子填充于疏松孔内，起到代替人工骨骼的目的。 三维打印快速成形技术在制药工程领域中的应用 当前口服药物制剂的制造 方法 主要有粉末压片以及湿法颗粒这两种类型，无论是哪种制药方法，都存在分解速度过快，难以到达血液，或短时间内血液中药物浓度过高的问题，对人体有非常不良的影响。而通过对三维打印快速成形技术的应用，则能够为药物释放可控性功能的实现提供有力的技术性支持，相信随着单药、多药复合释药性口服可控释放药片以及药物梯度控释给药系统等技术的成功研制与应用，三维打印快速成形技术的应用潜力将得到更进一步的扩大与提升。 三维打印快速成形技术在元件制造领域中的应用 通过对三维打印快速成形技术的应用，能够为产品结构设计检查工作的开展提供非常好的支持，同时，依托该技术能够快速制造产品所对应的功能原型件，从而尽早的展开对产品设计性能的检测工作，缩短设计反馈周期，提高开发有效性，降低开发成本。 4.结束语 结合本文以上分析认为：三维打印快速成形技术作为当前快速成形领域中最具发展潜力的技术手段之一，对比其他快速成形技术而言，有着众多的应用优势，其应用空间也是非常广阔的。特别是在当前快速成形领域学科不断发展与优化的背景之下，三维打印快速成形技术也势必会逐步得到更为广泛与深入的应用。且由于此种技术手段可供选择的材料范围广阔，故而在多个行业的应用价值正逐步显现出来，值得引起重视。本文即围绕三维打印快速成形技术及其应用的相关问题进行分析与探讨，希望以上引起各方人员的高度关注与重视。 参考文献： [1]李晓燕，张曙，余灯广等.三维打印成形粉末配方的优化设计[J].机械科学与技术，2006，25(11)：1343-1346. [2]晁艳普，白政民.金属微滴三维打印成形数据处理软件的设计开发[J].机械设计与制造，2014，(8)：236-239. [3]庄佩，连芩，李涤尘等.仿生多材料复合增强骨软骨支架的制造及性能研究[J].机械工程学报，2014，(21)：133-139. [4]刘厚才，莫健华，叶春生等.三维打印快速成形系统中的数据压缩方法[J].华中科技大学学报(自然科学版)，2008，36(5)：90-92. 3d打印技术论文总结范文篇二：《三维打印技术的应用与启示》 2013年数字南京 教育 装备工作目标：推进科技实践活动室或技能创造室的装备，全面实现每一所学校拥有一个以上主题鲜明、品质优良，与学校科技实践活动相适应、与学校科技艺体特色发展相适应的实验室;全市创新推进并累计装备建成100个高水平、高品质的机器人、三模科技、农业科技 种植 园等特色实验室，成为南京科技教育的核心与引领基地。评选100个优质科技实验室[1]。 为此，江苏省南京市教育装备与勤工俭学办公室主任后有为带队去山东省济南市历城区观摩三维打印技术培训，参观学校创新实验室，从而了解山东在创新实验室建设方面的一些做法，以及在创新大赛上获得佳绩和向高校输送人才的 经验 。 一、社会为什么需要创新设计和技术应用 《中国玩具制造业利润研究 报告 》显示：以玩具加工业为例，一个芭比娃娃在美国市场上的平均价格为美元，而制作这个芭比娃娃的中国企业只能拿到 美元加工费。中国企业所依赖的是相对低廉的劳动力和原材料成本，对外的竞争力也只是低成本带来的价格优势，所以只能依靠大批量生产，以薄利多销来赚取不多的加工费。我国很多行业产品生产的关键技术大部分来自进口，其中：工程机械高技术产品80%;数控机床70%;石油化工装备76%;集成电路芯片制造设备80%;光纤制造装备100%;通讯、半导体、生物、医药和计算机行业60%～90%;彩电、手机和微机的CPU都是掌握在别人手里[1]。 历史上，中国是人类创新和技术进步的摇篮，世界著名科技史学家李约瑟博士曾经列举了中国传入西方的26项技术，世界科技史上的前27项重要发明中18项来自中国。我国古代科技发明灿若星辰，对世界科技发展做出了巨大贡献。美国学者坦普尔在《中国：发明与发现的国度》一书中详细描述了“中国领先于世界”“西方受惠于中国”的中国古代100项技术发明。以史为鉴，古为今用，技术进步源于创新，创新设计源于服务现实，创造未来。大项目是创意，小改进也是创意，高科技是创意，简约明快也是创意。功能原理是创意，美化外观也是创意。灵感来源于生活，创意让世界更美好。 二、创新设计在初高中技术教学中的应用 我国“十二五”规划提出要深入实施科教兴国战略和人才强国战略，加快建设创新型国家，需要创新型人才，创新型人才培养，教育是基础和前提。同志强调：“要注重从青少年入手培养创新意识和实践能力，积极改革教育体制和改进 教学方法 。” 2011年，奥巴马总统推出的新版《美国创新战略》指出，美国未来的经济增长和国际竞争力取决于其创新能力。“创新教育运动”指引着公共和私营部门联合，以加强创新技术教育。 三维打印技术是专家预测的2013年十大技术革命之一，在打印过程中，打印机将根据计算机设计的模型从底部开始逐层堆积塑料、金属、合金等材料。凭借三维打印技术可以依据数字设计文件制造出固体结构，一旦物品能够在家或办公室远程打印出来，新技术将引发一场制造业革命[2]。三维打印技术在初高中技术教学中的应用，将对培养创新型人才产生重要作用。 1.提高教学效率，发展学生的 创新思维 三维设计软件、结构设计软件在三视图学习中针对学生学习时间少、没有基础等问题提供全新的教学手段，辅助三视图及其画法教学，快速识读技术图。学生进行创新设计时，设计软件提供简单易学的设计手段及完整的设计资源库。直观的三维模型系统教学手段，让设计像搭积木一样简单有趣，对立体模型进行平行移动、旋转、放大、多视窗等操作[3]。 2.降低学习坡度，突破教学难点 从三维设计到二维出图，学生在三维设计软件里轻松完成，快速工程图的生成能使学生做到设计与动手能力的完美结合，促进教育教学改革与学生学习方式的变革，是促进师生共同成长的研究与实践过程。 3.动手动脑结合，强调学生的动手创造 三维打印是一种快速成型技术，它以数字模型文件为基础，通过逐层打印的方式来构造物体，让动手与动脑相结合，让信息技术与通用技术相结合，让三维设计与二维设计相结合，让学生的设计和加工相结合。通过三维动画可以让学生更好地理解弹性碰撞，让机械机构运动的分析更加直观清晰。 三、创新设计帮助学生放飞创新的翅膀 创新设计软件平台在教育信息化中的精确定位是和探究实验室、通用技术实验室、综合实践实验室、信息技术实验室、动漫社相结合。创新软件系列产品及三维打印机将掀起一场教育创新运动。通过创新软件的运用，让我们的孩子和美国的孩子同步学习和发展，学有度、思无界、行无疆，创新设计软件平台及三维打印技术在教育中的促进作用有三： 一是可以引导中学生在生活中发现问题，去主动思考如何解决问题，而不是简单地去抱怨问题，培养学生的人文精神和社会责任感。 创意来源： 在高层楼房擦玻璃是很危险的，有没有既安全又方便的擦窗户方案?窗户有调节风、光的作用，如何利用窗户来改善室内的空气循环和光线照明? 设计原理：百叶窗的结构有可调节性，此类窗户也可以使用类似的结构，即将每扇窗分成若干扇小窗，每扇小窗可以绕轴旋转。这样可以实现调节风和光的作用，并且在雨天也可以开窗。尤其是高层楼房窗户玻璃的擦洗变得十分简便了。 二是可以帮助中学生固化自己生活的直接经验和亲身经历中的“小灵感”，并通过自己的设计―制作―评价，达到“创造”的教学效果。 案例2：可升降课桌椅 创意来源：学校普遍存在着课桌椅不符合学生身材的现象，总会让人觉得或高或低，影响学生的身体健康，于是便想到去设计一种可以升降且更具实用性的课桌椅。 设计原理：把思路定格在齿轮的传动上。在桌腿内部各安装两个齿轮和两条齿条，中间有一根传动轴连动，再在其中一个桌腿的一侧开孔，利用一个把手转动齿轮，这样便能使桌面水平升降 。 图6 利用三维打印技术制作出来的齿轮组 三是可以让中学生高度综合各学科、各方面的知识，并立足于实践，实现“做中学”和“学中做”。 案例3：自动上下楼梯的自助轮椅车 创意来源：家里有残疾人，上下楼梯不方便，有没有可以帮助残疾人自动上下楼梯的自助轮椅车呢? 设计原理：市面上有自动上下台阶的拖车，主要是依靠行星轮系的工作原理。如果把这个原理应用到轮椅上，不就是可以帮助残疾人自动上下楼梯的自助轮椅车吗? 案例4：物理学科中的成像原理 创意来源：来源于初中物理实验凸透镜成像实验。这个实验十分重要，但许多学生只知道概念而不清楚其中的原理与演示的过程。创意的意义在于把生活中的现象用自己的方式表现出来。 设计原理：运用新颖的视觉与动画，让大家耳目一新，将传统的枯燥教学转换为全新的模式，从而调动起大家的学习兴趣和热情。 四、创新设计大赛为学生提供创新实践的平台 为了丰富中小学生学习生活，激发创新精神，培养实践能力，全面推进素质教育，培养有国际竞争力的创新人才，2013年第十四届全国中小学电脑制作活动和第二届中国国际学生信息科技创意大赛专门设立了比赛项目(9)创新未来设计[4]。参赛者参考生活中的常见事物，通过计算机三维立体设计平台创作设计作品。要求首先完成设计 说明书 ，根据设计说明书，通过软件进行三维模型的设计、搭建和零件装配，并制作相关功能演示动画。 作品设计的事物尺寸不超过150 mm×200 mm×200 mm，薄厚不小于2 mm。 初中组设计命题为“未来桥梁”，在保证桥结构稳定的前提下，从功能、外观等方面进行创意设计。桥所应用的情境不做约束，可充分结合自己设定的场景进行设计。 高中组设计命题为“智慧汽车”，从外形、功能等方面加以创意设计。车辆的动力源和工作环境不做约束。 提交文件包括：设计作品，ICS或EXB文件;演示动画，SWF，3GP，MPG，AVI或MOV文件;设计说明书。 作品(含设计作品、演示动画、设计说明书)总大小不超过50 MB。 五、我们的思考 从山东省的创新办学标准来看，他们已经在如下方面做了尝试：创新设计软件和探究实验室相结合(初、高中)，和通用技术实验室相结合(高中)，和技术教室相结合(初中)，和综合实践实验室相结合(小学)，和信息技术实验室相结合(通用)，和动漫室相结合(通用)。 南京市教育装备与勤工俭学办公室主任后有为说过：我们不一味追求最新的、豪华的、最先进的设备设施，而是选择科学的、实用的、适用的和优质的设备设施。这对于建设创新实验室提供了很好的思路，选择科学的、适用的、适度领先的物质技术及其承载信息，并通过恰当的、优化的、科学的形式整合成能促进教育与学校发展的，能促进教育教学改革与学生学习方式变革的，能促进师生共同成长的研究与实践过程。 组织相关人员调研三维打印应用 参考文献 [1] 张武城.创造创新方略[M] .北京：机械工业出版社，2011. [2] 维克托・巴雷拉.专家预测2013年十大技术革命 包括三维打印技术[EB/OL]. 3d打印技术论文总结范文篇三：《试谈3D打印技术在建筑业应用》 从20世纪80年代起，随着计算机技术、新材料技术的快速发展，3D打印技术不断进步，逐渐走向人们的视野。李晓梅(2014)认为自3D打印机发明30余年来，经历了迅猛发展已成为当今最有生命力的先进制造技术之一[1]。 本文采用文献研究的方法，针对3D打印在建筑行业的应用找出优点及不足，为3D技术在建筑行业的应用提供发展方向和理论参考。 一、3D打印技术在建筑业的应用 (一)3D打印技术概念 江洪(2013)认为3D打印技术是一种增加制造技术，采用分层制造，逐层叠加的方式形成三维实体的技术[2]。李小丽(2014)总结道，3D打印是包括CAD建模、测量、材料、数控等学科[3]。 (二)3D打印技术在建筑业应用优点 李福平(2013)认为3D打印建筑技术优势为速度快;不需要使用模板，可以大幅节约成本，并且具有低碳、绿色、环保的特点[4]。杨健江(2015)认为相较于传统建筑模式，3D打印不仅节约资源，利用废弃物进行制造[5]。丁烈云(2015)认为建筑3D打印数字建造技术满足日益增长的非线性、自由曲面等复杂建筑形式的设计建造要求，是全新的设计建造方法论的革新[6]。 本文将建筑3D打印技术的优点整理如下： 1.基于施工层面。根据图纸以及相关数据，就可制造出建筑墙体、楼板等，大大节约了建筑时间;从设计文件里获得各种指令并进行工作，要求操作业者掌握的操作技能水平要求很低，一方面大大降低了人力成本，另一方面将操作者对产品质量带来的影响因素降到了最低;避免了施工现场存在的安全隐患，保障作业人员的人身安全，减少事故和伤亡。 2.基于经济层面。所需要的材料多可以就地取材，极大节省建造的运输成本;零部件生产一体化成型，既缩短了制造时间，节约了人力成本，又减少了采购及运输成本;仅需更换设计文件和打印材料就可生产不同的零件。 3.基于材料层面。采用增材制造方法，材料利用率高;3D打印技术可打印出高成本曲线建筑;遵照计算机程序，比人工的更加准确，产品质量有保证;打印过程中依据精确的几何计算，采用坚固耐用的材料，质量有保证;墙体是空心的相比钢筋混凝土实心墙体，3D 打印建筑的墙体要轻许多。 4.基于环保层面。原材料可以来源于建筑垃圾、工业垃圾，达到了节能环保、资源再生和改善环境的目标;采用干法施工可避免施工粉尘和噪声影响，生产制造过程中产生的废气、液等有害物质低，减少材料浪费和排污;打印过程几乎不产生噪声和大振动。 (三) 目前建筑3D打印技术存在的问题 3D打印技术虽发展迅速，但仍存在弊端。 1.精度问题。3D 打印技术由于工艺问题导致两层材料之间不能光滑过度，且只能形成样式简单且单一的条纹。影响建筑外立面的美观性。而在一定微观尺度下，如果需要制造的对象表面是圆弧形，那么这种具有一定厚度的条纹，就会造成精度上的偏差。 2.行业规范问题。3D打印建筑在行业内还没有任何相关的规范条例。使用年限和房屋产权等一系列问题都没有权威部门的认可。 3.材料性能问题。3D打印建筑多数为低矮建筑，相较于传统方式，在强度、刚度和加工性上均有不足。且其打印是水平逐层打印，缺少纵向钢筋。 4.设备问题。受限于工作原理，目前3D打印机打印速度较慢，且设备和原材料的价格居高不下在一定程度上阻碍了3D打印技术的发展。 5.伦理安全性问题。伴随着3D打印技术的发展和进步，人体器官的3D打印技术面临着伦理上引起大众质疑的困境。3D打印技术引发的安全风险也收到相应的质疑。 二、结论与展望 本文通过对3D打印技术的相关知识及其在建筑业应用的优缺点、发展前景的梳理和归纳，得到如下结论： 首先，缺少关于适应多元材料的打印设备系统和工艺流程系统的研究，缺少交流和互相融合。 其次，国内外学者研究建筑3D打印研究的初步成果较多，但是缺乏系统、完善的方法体系。 最后，3D打印技术近期发展迅猛，但3D打印的相关专业规定及法律条文并没有得到良好的研究。为避免矛盾与事故的发生，解决由3D打印所造成的冲突，建立公平、公正、完善的相关规定必不可少。 猜你喜欢： 1. 3D打印技术学习心得体会 2. 3d打印必读的10本书 3. 3d打印调研报告 4. 3d打印技术调研报告 5. 3d打印技术学习心得
当前做instance segmentation的大多数工作采用了Mask R-CNN 的Pipeline。 它基本的pipeline是先检测物体矩形框，然后在矩形框中做逐像素分割。 Mask R-CNN达到了很好的instance segmentation的结果，但是这样的pipeline其实有一些limitation： 考虑到逐像素分割有诸多限制，文章的工作选择用contour来表示物体的shape。Contour是一组有序的点，而且是首尾相连的。比如图片中猫的边缘就是一个Contour。 Contour相对于用稠密像素表示物体有两大优势： 实例分割是许多计算机视觉任务中的重要手段，目前大多数的算法都采用在给定的bbox中进行pixel-wise分割的方法。受snake算法和Curve-GCN的启发，论文采用基于轮廓的逐步调整策略，提出了Deep snake算法进行实时实例分割，该算法将初始轮廓逐渐优化为目标的边界，如图所示，达到很好的性能且依然保持很高的实时性()。 Deep snake方法将初始轮廓逐渐优化为目标的边界来进行目标分割，即将物体轮廓作为输入，基于CNN主干特征预测每个顶点的偏移量。为了充分利用轮廓拓扑结构，论文使用循环卷积(circular convolution)进行顶点特征的学习，有助于学习轮廓的优化，并基于deep snake提出了一套实时实例分割的流程。 传统的snake算法将顶点的坐标作为变量来优化人工设计的能量函数(energy function)，通过最小化能量函数来拟合目标边界。由于能量函数通常是非凸的，而且需要基于低维图像特征进行人工设计，通常会陷于局部最优解。 而deep snake则是直接从数据学习如何微调轮廓，对于个顶点，首先构造每个顶点的特征向量，顶点的特征为对应的网络特征和顶点坐标的concate，其中为主干网络输出的特征图，为顶点处的双线性差值输出，附加的用于描述顶点间的位置关系，是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小和得到相对坐标。 在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-D离散信号，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构。因此，将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行特征学习，为可学习的卷积核，为标准卷积操作。 将deep snake加入到目标检测模型中进行实例分割，流程如图b所示。模型首先产生目标框，将其构建成菱形框，然后使用deep snake算法将菱形顶点调整为目标极点，构造八边形轮廓，最后进行迭代式deep snake轮廓调整得到目标形状 论文采用ExtreNet的极点思想，能够很好地包围物体。在得到矩形框后，获取4条边的中心点连成菱形轮廓，使用deep snake对菱形轮廓调整成极点，然后每个极点放置一条边，连接边构造多边形，每个极点的边为其对应的bbox边的，若边超过原bbox范围会被截断。在实际使用时，菱形轮廓输入deep snake前会平均上采样到40个点(有助于deep snake计算)，但损失函数计算只考虑的对应偏移 对八边形平均采样个点，将上极点作为起点，同样地，GT轮廓对物体边缘平均采样个点，将靠近的点作为起点，一般为128。如果顶点离GT很远，很难直接正确调整，于是采用迭代式地进行deep snake调整，实验采用的迭代次数为3次。 轮廓是目标空间位置的一种扩展表示方法，通过调整轮廓到物体边缘能够帮助解决detector的定位误差 由于遮挡，一个实例可能包含多个组件，然而一个轮廓只能勾勒出bbox内的一个组件。为了解决这个问题，使用RoIAlign来提取初始bbox特征，然后配合detector来检测组件的box，再对每个box进行上述的轮廓调整，最后结合初始bbox内相同类别的组件输出最终的物体形状。 极点的损失函数如公式3，为预测的极点。 迭代轮廓调整的损失函数如公式4，为调整后的顶点，为对应的GT边缘点。对于检测部分，则采用跟原检测函数一样的损失函数。 使用CenterNet作为检测器，对于物体检测，使用跟原来一样的设定输出类别相关的box，而对于组件检测，则使用类不可知的CenterNet，对于的特征图，输出的中心点heatmap和的box大小特征图。 Baseline将轮廓视为图结构，然后使用GCN进行轮廓调整，初始轮廓为围绕bbox的椭圆，Arichitecture加入Fusion block，Initial proposal加入论文的轮廓初始化方法，最后是将GCN修改为循环卷积，可以看到每个步骤都对AP有提升。 论文也对比了卷积类型以及迭代次数对结构的影响，可以看到循环卷积的结果比GCN要好。 论文在不同的数据集上都取得了不错的效果，作者在每个数据集上的训练参数都有点不一样，具体参数可以看看原文 论文提出基于轮廓的实例分割方法Deep snake，轮廓调整是个很不错的方向，引入循环卷积，不仅提升了性能还减少了计算量，保持了实时性，但是Deep snake的大体结构不够优雅，应该还有一些工作可以补 [1] 彭思达 - 实例分割新思路: Deep Snake (CVPR20'Oral Paper) [2] Deep Snake: 基于轮廓调整的SOTA实例分割方法，速度| CVPR 2020 [3] He, Kaiming, et al. "Mask r-cnn." In ICCV, 2017. [4] Kass, Michael, Andrew Witkin, and Demetri Terzopoulos. "Snakes: Active contour models." In IJCV, 1988. [5] Ling, Huan, et al. "Fast interactive object annotation with curve-gcn." In CVPR, 2019. [6] Zhou, Xingyi, Jiacheng Zhuo, and Philipp Krahenbuhl. "Bottom-up object detection by grouping extreme and center points." In CVPR, 2019. [7] Zhou, Xingyi, Dequan Wang, and Philipp Krahenbuhl. "Objects as points." In arXiv preprint arXiv:, 2019.
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
当前做instance segmentation的大多数工作采用了Mask R-CNN 的Pipeline。 它基本的pipeline是先检测物体矩形框，然后在矩形框中做逐像素分割。 Mask R-CNN达到了很好的instance segmentation的结果，但是这样的pipeline其实有一些limitation： 考虑到逐像素分割有诸多限制，文章的工作选择用contour来表示物体的shape。Contour是一组有序的点，而且是首尾相连的。比如图片中猫的边缘就是一个Contour。 Contour相对于用稠密像素表示物体有两大优势： 实例分割是许多计算机视觉任务中的重要手段，目前大多数的算法都采用在给定的bbox中进行pixel-wise分割的方法。受snake算法和Curve-GCN的启发，论文采用基于轮廓的逐步调整策略，提出了Deep snake算法进行实时实例分割，该算法将初始轮廓逐渐优化为目标的边界，如图所示，达到很好的性能且依然保持很高的实时性()。 Deep snake方法将初始轮廓逐渐优化为目标的边界来进行目标分割，即将物体轮廓作为输入，基于CNN主干特征预测每个顶点的偏移量。为了充分利用轮廓拓扑结构，论文使用循环卷积(circular convolution)进行顶点特征的学习，有助于学习轮廓的优化，并基于deep snake提出了一套实时实例分割的流程。 传统的snake算法将顶点的坐标作为变量来优化人工设计的能量函数(energy function)，通过最小化能量函数来拟合目标边界。由于能量函数通常是非凸的，而且需要基于低维图像特征进行人工设计，通常会陷于局部最优解。 而deep snake则是直接从数据学习如何微调轮廓，对于个顶点，首先构造每个顶点的特征向量，顶点的特征为对应的网络特征和顶点坐标的concate，其中为主干网络输出的特征图，为顶点处的双线性差值输出，附加的用于描述顶点间的位置关系，是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小和得到相对坐标。 在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-D离散信号，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构。因此，将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行特征学习，为可学习的卷积核，为标准卷积操作。 将deep snake加入到目标检测模型中进行实例分割，流程如图b所示。模型首先产生目标框，将其构建成菱形框，然后使用deep snake算法将菱形顶点调整为目标极点，构造八边形轮廓，最后进行迭代式deep snake轮廓调整得到目标形状 论文采用ExtreNet的极点思想，能够很好地包围物体。在得到矩形框后，获取4条边的中心点连成菱形轮廓，使用deep snake对菱形轮廓调整成极点，然后每个极点放置一条边，连接边构造多边形，每个极点的边为其对应的bbox边的，若边超过原bbox范围会被截断。在实际使用时，菱形轮廓输入deep snake前会平均上采样到40个点(有助于deep snake计算)，但损失函数计算只考虑的对应偏移 对八边形平均采样个点，将上极点作为起点，同样地，GT轮廓对物体边缘平均采样个点，将靠近的点作为起点，一般为128。如果顶点离GT很远，很难直接正确调整，于是采用迭代式地进行deep snake调整，实验采用的迭代次数为3次。 轮廓是目标空间位置的一种扩展表示方法，通过调整轮廓到物体边缘能够帮助解决detector的定位误差 由于遮挡，一个实例可能包含多个组件，然而一个轮廓只能勾勒出bbox内的一个组件。为了解决这个问题，使用RoIAlign来提取初始bbox特征，然后配合detector来检测组件的box，再对每个box进行上述的轮廓调整，最后结合初始bbox内相同类别的组件输出最终的物体形状。 极点的损失函数如公式3，为预测的极点。 迭代轮廓调整的损失函数如公式4，为调整后的顶点，为对应的GT边缘点。对于检测部分，则采用跟原检测函数一样的损失函数。 使用CenterNet作为检测器，对于物体检测，使用跟原来一样的设定输出类别相关的box，而对于组件检测，则使用类不可知的CenterNet，对于的特征图，输出的中心点heatmap和的box大小特征图。 Baseline将轮廓视为图结构，然后使用GCN进行轮廓调整，初始轮廓为围绕bbox的椭圆，Arichitecture加入Fusion block，Initial proposal加入论文的轮廓初始化方法，最后是将GCN修改为循环卷积，可以看到每个步骤都对AP有提升。 论文也对比了卷积类型以及迭代次数对结构的影响，可以看到循环卷积的结果比GCN要好。 论文在不同的数据集上都取得了不错的效果，作者在每个数据集上的训练参数都有点不一样，具体参数可以看看原文 论文提出基于轮廓的实例分割方法Deep snake，轮廓调整是个很不错的方向，引入循环卷积，不仅提升了性能还减少了计算量，保持了实时性，但是Deep snake的大体结构不够优雅，应该还有一些工作可以补 [1] 彭思达 - 实例分割新思路: Deep Snake (CVPR20'Oral Paper) [2] Deep Snake: 基于轮廓调整的SOTA实例分割方法，速度| CVPR 2020 [3] He, Kaiming, et al. "Mask r-cnn." In ICCV, 2017. [4] Kass, Michael, Andrew Witkin, and Demetri Terzopoulos. "Snakes: Active contour models." In IJCV, 1988. [5] Ling, Huan, et al. "Fast interactive object annotation with curve-gcn." In CVPR, 2019. [6] Zhou, Xingyi, Jiacheng Zhuo, and Philipp Krahenbuhl. "Bottom-up object detection by grouping extreme and center points." In CVPR, 2019. [7] Zhou, Xingyi, Dequan Wang, and Philipp Krahenbuhl. "Objects as points." In arXiv preprint arXiv:, 2019.
当前做instance segmentation的大多数工作采用了Mask R-CNN 的Pipeline。 它基本的pipeline是先检测物体矩形框，然后在矩形框中做逐像素分割。 Mask R-CNN达到了很好的instance segmentation的结果，但是这样的pipeline其实有一些limitation： 考虑到逐像素分割有诸多限制，文章的工作选择用contour来表示物体的shape。Contour是一组有序的点，而且是首尾相连的。比如图片中猫的边缘就是一个Contour。 Contour相对于用稠密像素表示物体有两大优势： 实例分割是许多计算机视觉任务中的重要手段，目前大多数的算法都采用在给定的bbox中进行pixel-wise分割的方法。受snake算法和Curve-GCN的启发，论文采用基于轮廓的逐步调整策略，提出了Deep snake算法进行实时实例分割，该算法将初始轮廓逐渐优化为目标的边界，如图所示，达到很好的性能且依然保持很高的实时性()。 Deep snake方法将初始轮廓逐渐优化为目标的边界来进行目标分割，即将物体轮廓作为输入，基于CNN主干特征预测每个顶点的偏移量。为了充分利用轮廓拓扑结构，论文使用循环卷积(circular convolution)进行顶点特征的学习，有助于学习轮廓的优化，并基于deep snake提出了一套实时实例分割的流程。 传统的snake算法将顶点的坐标作为变量来优化人工设计的能量函数(energy function)，通过最小化能量函数来拟合目标边界。由于能量函数通常是非凸的，而且需要基于低维图像特征进行人工设计，通常会陷于局部最优解。 而deep snake则是直接从数据学习如何微调轮廓，对于个顶点，首先构造每个顶点的特征向量，顶点的特征为对应的网络特征和顶点坐标的concate，其中为主干网络输出的特征图，为顶点处的双线性差值输出，附加的用于描述顶点间的位置关系，是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小和得到相对坐标。 在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-D离散信号，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构。因此，将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行特征学习，为可学习的卷积核，为标准卷积操作。 将deep snake加入到目标检测模型中进行实例分割，流程如图b所示。模型首先产生目标框，将其构建成菱形框，然后使用deep snake算法将菱形顶点调整为目标极点，构造八边形轮廓，最后进行迭代式deep snake轮廓调整得到目标形状 论文采用ExtreNet的极点思想，能够很好地包围物体。在得到矩形框后，获取4条边的中心点连成菱形轮廓，使用deep snake对菱形轮廓调整成极点，然后每个极点放置一条边，连接边构造多边形，每个极点的边为其对应的bbox边的，若边超过原bbox范围会被截断。在实际使用时，菱形轮廓输入deep snake前会平均上采样到40个点(有助于deep snake计算)，但损失函数计算只考虑的对应偏移 对八边形平均采样个点，将上极点作为起点，同样地，GT轮廓对物体边缘平均采样个点，将靠近的点作为起点，一般为128。如果顶点离GT很远，很难直接正确调整，于是采用迭代式地进行deep snake调整，实验采用的迭代次数为3次。 轮廓是目标空间位置的一种扩展表示方法，通过调整轮廓到物体边缘能够帮助解决detector的定位误差 由于遮挡，一个实例可能包含多个组件，然而一个轮廓只能勾勒出bbox内的一个组件。为了解决这个问题，使用RoIAlign来提取初始bbox特征，然后配合detector来检测组件的box，再对每个box进行上述的轮廓调整，最后结合初始bbox内相同类别的组件输出最终的物体形状。 极点的损失函数如公式3，为预测的极点。 迭代轮廓调整的损失函数如公式4，为调整后的顶点，为对应的GT边缘点。对于检测部分，则采用跟原检测函数一样的损失函数。 使用CenterNet作为检测器，对于物体检测，使用跟原来一样的设定输出类别相关的box，而对于组件检测，则使用类不可知的CenterNet，对于的特征图，输出的中心点heatmap和的box大小特征图。 Baseline将轮廓视为图结构，然后使用GCN进行轮廓调整，初始轮廓为围绕bbox的椭圆，Arichitecture加入Fusion block，Initial proposal加入论文的轮廓初始化方法，最后是将GCN修改为循环卷积，可以看到每个步骤都对AP有提升。 论文也对比了卷积类型以及迭代次数对结构的影响，可以看到循环卷积的结果比GCN要好。 论文在不同的数据集上都取得了不错的效果，作者在每个数据集上的训练参数都有点不一样，具体参数可以看看原文 论文提出基于轮廓的实例分割方法Deep snake，轮廓调整是个很不错的方向，引入循环卷积，不仅提升了性能还减少了计算量，保持了实时性，但是Deep snake的大体结构不够优雅，应该还有一些工作可以补 [1] 彭思达 - 实例分割新思路: Deep Snake (CVPR20'Oral Paper) [2] Deep Snake: 基于轮廓调整的SOTA实例分割方法，速度| CVPR 2020 [3] He, Kaiming, et al. "Mask r-cnn." In ICCV, 2017. [4] Kass, Michael, Andrew Witkin, and Demetri Terzopoulos. "Snakes: Active contour models." In IJCV, 1988. [5] Ling, Huan, et al. "Fast interactive object annotation with curve-gcn." In CVPR, 2019. [6] Zhou, Xingyi, Jiacheng Zhuo, and Philipp Krahenbuhl. "Bottom-up object detection by grouping extreme and center points." In CVPR, 2019. [7] Zhou, Xingyi, Dequan Wang, and Philipp Krahenbuhl. "Objects as points." In arXiv preprint arXiv:, 2019.
论文原文：
YOLO（you only look once）是继RCNN、faster-RCNN之后，又一里程碑式的目标检测算法。yolo在保持不错的准确度的情况下，解决了当时基于深度学习的检测中的痛点---速度问题。下图是各目标检测系统的检测性能对比：
如果说faster-RCNN是真正实现了完全基于深度学习的端到端的检测，那么yolo则是更进一步，将 目标区域预测 与 目标类别判断 整合到单个神经网络模型中。各检测算法结构见下图：
每个网格要预测B个bounding box，每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息，其值是这样计算的：
其中如果有object落在一个grid cell里，第一项取1，否则取0。第二项是预测的bounding box和实际的groundtruth之间的IoU值。
每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。即SxS个网格，每个网格除了要预测B个bounding box外，还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。（注意：class信息是针对每个网格的，即一个网格只预测一组类别而不管里面有多少个bounding box，而confidence信息是针对每个bounding box的。）
举例说明: 在PASCAL VOC中，图像输入为448x448，取S=7，B=2，一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。整个网络结构如下图所示：
在test的时候，每个网格预测的class信息和bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:
等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。
得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS（非极大值抑制non-maximum suppresssion）处理，就得到最终的检测结果。
1、每个grid因为预测两个bounding box有30维（30=2*5+20），这30维中，8维是回归box的坐标，2维是box的confidence，还有20维是类别。其中坐标的x,y用bounding box相对grid的offset归一化到0-1之间，w,h除以图像的width和height也归一化到0-1之间。
2、对不同大小的box预测中，相比于大box预测偏一点，小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。为了缓和这个问题，作者用了一个比较取巧的办法，就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解，小box的横轴值较小，发生偏移时，反应到y轴上相比大box要大。其实就是让算法对小box预测的偏移更加敏感。
3、一个网格预测多个box，希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大，就负责哪个。这种做法称作box predictor的specialization。
4、损失函数公式见下图：
在实现中，最主要的就是怎么设计损失函数，坐标（x,y,w,h），confidence，classification 让这个三个方面得到很好的平衡。简单的全部采用sum-squared error loss来做这件事会有以下不足：
解决方法：
只有当某个网格中有object的时候才对classification error进行惩罚。只有当某个box predictor对某个ground truth box负责的时候，才会对box的coordinate error进行惩罚，而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。
作者采用ImageNet 1000-class 数据集来预训练卷积层。预训练阶段，采用网络中的前20卷积层，外加average-pooling层和全连接层。模型训练了一周，获得了top-5 accuracy为（ImageNet2012 validation set），与GoogleNet模型准确率相当。
然后，将模型转换为检测模型。作者向预训练模型中加入了4个卷积层和两层全连接层，提高了模型输入分辨率（224×224->448×448）。顶层预测类别概率和bounding box协调值。bounding box的宽和高通过输入图像宽和高归一化到0-1区间。顶层采用linear activation，其它层使用 leaky rectified linear。
作者采用sum-squared error为目标函数来优化，增加bounding box loss权重，减少置信度权重，实验中，设定为\lambda _{coord} =5 and\lambda _{noobj}= 。
作者在PASCAL VOC2007和PASCAL VOC2012数据集上进行了训练和测试。训练135轮，batch size为64，动量为，学习速率延迟为。Learning schedule为：第一轮，学习速率从缓慢增加到（因为如果初始为高学习速率，会导致模型发散）；保持速率到75轮；然后在后30轮中，下降到；最后30轮，学习速率为。
作者还采用了dropout和 data augmentation来预防过拟合。dropout值为；data augmentation包括：random scaling，translation，adjust exposure和saturation。
YOLO模型相对于之前的物体检测方法有多个优点：
1、 YOLO检测物体非常快
因为没有复杂的检测流程，只需要将图像输入到神经网络就可以得到检测结果，YOLO可以非常快的完成物体检测任务。标准版本的YOLO在Titan X 的 GPU 上能达到45 FPS。更快的Fast YOLO检测速度可以达到155 FPS。而且，YOLO的mAP是之前其他实时物体检测系统的两倍以上。
2、 YOLO可以很好的避免背景错误，产生false positives
不像其他物体检测系统使用了滑窗或region proposal，分类器只能得到图像的局部信息。YOLO在训练和测试时都能够看到一整张图像的信息，因此YOLO在检测物体时能很好的利用上下文信息，从而不容易在背景上预测出错误的物体信息。和Fast-R-CNN相比，YOLO的背景错误不到Fast-R-CNN的一半。
3、 YOLO可以学到物体的泛化特征
当YOLO在自然图像上做训练，在艺术作品上做测试时，YOLO表现的性能比DPM、R-CNN等之前的物体检测系统要好很多。因为YOLO可以学习到高度泛化的特征，从而迁移到其他领域。
尽管YOLO有这些优点，它也有一些缺点：
1、YOLO的物体检测精度低于其他state-of-the-art的物体检测系统。
2、YOLO容易产生物体的定位错误。
3、YOLO对小物体的检测效果不好（尤其是密集的小物体，因为一个栅格只能预测2个物体）。