物体检测最近的论文

姓名：王咫毅 学号： 【嵌牛导读】机器学习成为现在研究的一大热门，而机器学习所应用到的领域图像处理 目标检测 图像分割都已经日趋成熟，而cnn是如何应用到图像分割里边的呢？而其发展过程又有哪些呢？ 【嵌牛鼻子】机器学习 cnn  【嵌牛提问】r-cnn和mask r-cnn有什么区别？两者又是怎么形成的？ 【嵌牛正文】 在 Athelas (Athelas 通过深度学习进行血液诊断)，我们使用卷积神经网络（CNN）不仅仅是分类！在这篇文章中，我们将看到如何在图像实例分割中使用CNN，效果很好。 自从 Alex Krizhevsky，Geoff Hinton和Ilya Sutskever在2012年赢得ImageNet以来 ，卷积神经网络（CNNs）已经成为图像分类的黄金标准。事实上，从那时起，CNN已经改进到现在他们在ImageNet挑战中胜过人类的程度！ need-to-insert-img CNN现在在ImageNet挑战中胜过人类。上图中的y轴是ImageNet上的错误率。 虽然这些结果令人印象深刻，但图像分类远比真人类视觉理解的复杂性和多样性简单得多。 need-to-insert-img 分类挑战中使用的图像示例。请注意图像是如何构图良好的，并且只有一个对象。 在分类中，通常有一个图像，其中一个对象作为焦点，任务是说该图像是什么（见上文）。但是，当我们观察周围的世界时，我们会执行更复杂的任务。 need-to-insert-img 现实生活中的景点通常由许多不同的，重叠的物体，背景和动作组成。 我们看到复杂的景点有多个重叠的物体和不同的背景，我们不仅要对这些不同的物体进行分类，还要确定它们之间的界限，差异和关系！ need-to-insert-img CNN可以帮助我们完成这些复杂的任务吗？也就是说，给定一个更复杂的图像，我们可以使用CNN来识别图像中的不同对象及其边界吗？正如Ross Girshick和他的同龄人在过去几年所表明的那样，答案是肯定的。 这篇文章的目标 通过这篇文章，我们将介绍在对象检测和分割中使用的一些主要技术背后的直觉，并了解它们是如何从一个实现发展到下一个实现的。特别是，我们将介绍R-CNN（地区CNN），这是CNN对此问题的原始应用，以及其后代Fast R-CNN和Faster R-CNN。最后，我们将介绍最近由Facebook Research发布的一篇文章Mask R-CNN，它扩展了这种对象检测技术以提供像素级分割。以下是本文中引用的论文： R-CNN： https ： // Fast R-CNN： https ： // Faster R-CNN： https ： // Mask R-CNN： https ： // 2014年：R-CNN - CNN在物体检测中的早期应用 need-to-insert-img 诸如R-CNN的对象检测算法接收图像并识别图像中主要对象的位置和分类。 受多伦多大学Hinton实验室研究的启发，由Jitendra Malik教授领导的加州大学伯克利分校的一个小团队问自己，今天看来是一个不可避免的问题： 在多大程度上[Krizhevsky等。al的结果]推广到物体检测？ 对象检测的任务是在图像中查找不同的对象并对其进行分类（如上图所示）。由Ross Girshick（我们将再次看到的名字），Jeff Donahue和Trevor Darrel组成的团队发现，通过测试PASCAL VOC Challenge，这是一种类似于ImageNet的流行物体检测挑战，Krizhevsky的结果可以解决这个问题。他们写， 本文首次表明，与基于简单HOG类功能的系统相比，CNN可以在PASCAL VOC上实现更高的物体检测性能。 现在让我们花一点时间来了解他们的架构，CNNs区域（R-CNN）是如何工作的。 了解R-CNN R-CNN的目标是接收图像，并正确识别图像中主要对象（通过边界框）的位置。 输入 ：图像 输出 ：图像中每个对象的边界框+标签。 但是我们如何找出这些边界框的位置？R-CNN做了我们可能直观地做的事情 - 在图像中 提出 一堆框，看看它们中的任何一个是否实际上对应于一个对象 。 need-to-insert-img 选择性搜索查看多个比例的窗口，并查找共享纹理，颜色或强度的相邻像素 R-CNN使用称为选择性搜索的过程创建这些边界框或区域提议，您可以在 此处 阅读。在较高的层次上，选择性搜索（如上图所示）通过不同大小的窗口查看图像，并且对于每个尺寸，尝试通过纹理，颜色或强度将相邻像素组合在一起以识别对象。 need-to-insert-img 在创建一组区域提议后，R-CNN通过AlexNet的修改版本传递图像，以确定它是否是有效区域。 一旦提出建议，R-CNN将该区域变为标准的方形大小，并将其传递给AlexNet的修改版本（ImageNet 2012的获奖提交，启发了R-CNN），如上所示。 在CNN的最后一层，R-CNN增加了一个支持向量机（SVM），它简单地分类这是否是一个对象，如果是的话，是什么对象。这是上图中的第4步。 改进边界框 现在，在盒子里找到了这个物体，我们可以收紧盒子以适应物体的真实尺寸吗？我们可以，这是R-CNN的最后一步。R-CNN对区域提议运行简单的线性回归，以生成更紧密的边界框坐标以获得最终结果。以下是此回归模型的输入和输出： 输入 ：与对象对应的图像的子区域。 输出 ：子区域中对象的新边界框坐标。 总而言之，R-CNN只是以下步骤： 1.为边界框生成一组提议。 2.通过预先训练的AlexNet运行边界框中的图像，最后运行SVM，以查看框中图像的对象。 3.通过线性回归模型运行该框，一旦对象被分类，就为框输出更紧密的坐标。 2015年：快速R-CNN - 加速并简化R-CNN need-to-insert-img Ross Girshick写了R-CNN和Fast R-CNN。他继续在Facebook Research推动计算机视觉的界限。 R-CNN效果很好，但由于一些简单的原因，它确实很慢： 它需要CNN（AlexNet）的正向传递，用于每个单个图像的每个区域建议（每个图像大约2000个前向传递！）。 它必须分别训练三个不同的模型 - 用于生成图像特征的CNN，用于预测类的分类器，以及用于收紧边界框的回归模型。这使得管道极难训练。 2015年，R-CNN的第一作者Ross Girshick解决了这两个问题，导致了我们短暂历史中的第二个算法 - 快速R-CNN。现在让我们回顾一下它的主要见解。 Fast R-CNN洞察力1：RoI（感兴趣区域）池 对于CNN的前向传递，Girshick意识到对于每个图像，图像的许多建议区域总是重叠，导致我们一次又一次地运行相同的CNN计算（~2000次！）。他的洞察力很简单 - 为什么不在每张图像上运行CNN一次，然后找到一种方法来分享〜2000个提案中的计算？ need-to-insert-img 在RoIPool中，创建图像的完整前向传递，并从所得到的前向传递中提取每个感兴趣区域的conv特征。 这正是Fast R-CNN使用称为RoIPool（感兴趣区域池）的技术所做的事情。在其核心，RoIPool分享CNN的前向传递，以在其子区域中形成图像。在上图中，请注意如何通过从CNN的要素图中选择相应的区域来获取每个区域的CNN要素。然后，汇集每个区域中的要素（通常使用最大池）。所以我们所需要的只是原始图像的一次传递而不是~2000！ 快速R-CNN洞察力2：将所有模型组合到一个网络中 need-to-insert-img 快速R-CNN将CNN，分类器和边界框回归器组合成一个单一网络 Fast R-CNN的第二个见解是在单个模型中联合训练CNN，分类器和边界框回归器。之前我们有不同的模型来提取图像特征（CNN），分类（SVM）和收紧边界框（回归量），而 快速R-CNN则使用单个网络来计算所有三个。 您可以在上图中看到这是如何完成的。快速R-CNN用在CNN顶部的softmax层替换SVM分类器以输出分类。它还添加了一个与softmax图层平行的线性回归图层，以输出边界框坐标。这样，所需的所有输出都来自一个网络！以下是此整体模型的输入和输出： 输入 ：带有区域提案的图像。 输出 ：每个区域的对象分类以及更严格的边界框。 2016年：更快的R-CNN - 加速地区提案 即使有了所有这些进步，快速R-CNN过程仍然存在一个瓶颈 - 区域提议者。正如我们所看到的，检测对象位置的第一步是生成一堆潜在的边界框或感兴趣的区域进行测试。在Fast R-CNN中，这些提议是使用 选择性搜索 创建的，这是一个相当缓慢的过程，被发现是整个过程的瓶颈。 need-to-insert-img 微软研究院的首席研究员孙健带领团队领导更快的R-CNN。 在2015年中期，由Shaoqing Ren，Kaiming He，Ross Girshick和Jian Sun组成的微软研究团队找到了一种方法，通过他们（创造性地）命名为快速R-CNN的架构，使该区域提案步骤几乎免费。 更快的R-CNN的见解是区域建议取决于已经通过CNN的前向传递（分类的第一步）计算的图像的特征。 那么为什么不为区域提案重用那些相同的CNN结果而不是运行单独的选择性搜索算法呢？ need-to-insert-img 在Faster R-CNN中，单个CNN用于区域提议和分类。 实际上，这正是R-CNN团队更快取得的成就。在上图中，您可以看到单个CNN如何用于执行区域提议和分类。这样， 只有一个CNN需要接受培训 ，我们几乎可以免费获得地区建议！作者写道： 我们的观察结果是，基于区域的探测器（如Fast R-CNN）使用的卷积特征图也可用于生成区域提议[从而实现几乎无成本的区域提议]。 以下是其模型的输入和输出： 输入 ：图像（注意不需要区域提议）。 输出 ：图像中对象的分类和边界框坐标。 如何生成区域 让我们花点时间看看R-CNN如何通过CNN功能更快地生成这些区域提案。Faster R-CNN在CNN的功能之上增加了一个完全卷积网络，创建了所谓的 区域提案网络 。 need-to-insert-img 区域提案网络在CNN的功能上滑动窗口。在每个窗口位置，网络输出每个锚点的分数和边界框（因此4k框坐标，其中k是锚的数量）。 区域提议网络通过在CNN特征映射和每个窗口上传递滑动窗口来工作，输出 k个 潜在的边界框以及每个框预期有多好的分数。这些 k 盒代表什么？ need-to-insert-img 我们知道人们的边界框往往是矩形和垂直的。我们可以通过创建这样的维度锚来利用这种直觉来指导我们的区域提案网络。 直觉上，我们知道图像中的对象应该适合某些常见的宽高比和大小。例如，我们知道我们想要一些类似于人类形状的矩形盒子。同样，我们知道我们不会看到很多非常薄的盒子。以这种方式，我们创建 k 这样的常见宽高比，我们称之为 锚盒 。对于每个这样的锚箱，我们输出一个边界框并在图像中的每个位置得分。 考虑到这些锚框，我们来看看这个区域提案网络的输入和输出： 输入 ：CNN功能图。 输出 ：每个锚点的边界框。表示该边界框中图像成为对象的可能性的分数。 然后，我们将可能是对象的每个这样的边界框传递到Fast R-CNN，以生成分类和收紧的边界框。 2017：Mask R-CNN - 扩展更快的R-CNN以实现像素级分割 need-to-insert-img 图像实例分割的目标是在像素级别识别场景中不同的对象是什么。 到目前为止，我们已经看到我们如何能够以许多有趣的方式使用CNN功能来有效地定位带有边界框的图像中的不同对象。 我们是否可以扩展这些技术以进一步找到每个对象的精确像素而不仅仅是边界框？这个问题被称为图像分割，是Kaiming He和包括Girshick在内的一组研究人员在Facebook AI上使用一种名为 Mask R-CNN 的架构进行探索的。 need-to-insert-img Facebook AI的研究员Kaiming He是Mask R-CNN的主要作者，也是Faster R-CNN的合着者。 就像Fast R-CNN和Faster R-CNN一样，Mask R-CNN的潜在直觉也是直截了当的。鉴于Faster R-CNN在物体检测方面的效果非常好，我们是否可以扩展它以进行像素级分割？ need-to-insert-img 在掩码R-CNN中，在快速R-CNN的CNN特征之上添加完全卷积网络（FCN）以生成掩码（分段输出）。注意这与Faster R-CNN的分类和边界框回归网络并行。 Mask R-CNN通过向更快的R-CNN添加分支来完成此操作，该分支输出二进制掩码，该Mask 表示给定像素是否是对象的一部分。与以前一样，分支（上图中的白色）只是基于CNN的特征映射之上的完全卷积网络。以下是其输入和输出： 输入 ：CNN功能图。 输出 ：矩阵在像素属于对象的所有位置上为1，在其他位置为0（这称为 二进制掩码 ）。 但Mask R-CNN的作者不得不进行一次小调整，以使这条管道按预期工作。 RoiAlign - 重新调整RoIPool更准确 need-to-insert-img 而不是RoIPool，图像通过RoIAlign传递，以便RoIPool选择的特征图的区域更精确地对应于原始图像的区域。这是必需的，因为像素级分割需要比边界框更细粒度的对齐。 当在原始的快速R-CNN架构上运行而没有修改时，Mask R-CNN作者意识到由RoIPool选择的特征图的区域与原始图像的区域略微不对准。由于图像分割需要像素级特异性，与边界框不同，这自然会导致不准确。 作者能够通过巧妙地调整RoIPool来解决这个问题，使用一种称为RoIAlign的方法进行更精确的对齐。 need-to-insert-img 我们如何准确地将感兴趣的区域从原始图像映射到特征图？ 想象一下，我们有一个大小为 128x128 的图像和一个大小为 25x25 的特征图。让我们想象一下，我们想要的特征区域对应于原始图像中左上角的 15x15 像素（见上文）。我们如何从要素图中选择这些像素？ 我们知道原始图像中的每个像素对应于特征图中的~25 / 128像素。要从原始图像中选择15个像素，我们只选择15 * 25 / 128~ = 像素。 在RoIPool中，我们将它向下舍入并选择2个像素，导致轻微的错位。但是，在RoIAlign中， 我们避免了这种舍入。 相反，我们使用 双线性插值 来准确了解像素处的内容。这在很大程度上是允许我们避免RoIPool引起的错位的原因。 生成这些掩模后，Mask R-CNN将它们与Faster R-CNN中的分类和边界框组合在一起，生成如此精确的分割： need-to-insert-img Mask R-CNN能够对图像中的对象进行分段和分类。 期待 在短短3年时间里，我们已经看到研究界如何从Krizhevsky等进步。al的原始结果是R-CNN，最后一直到Mask R-CNN这样强大的结果。孤立地看，像面具R-CNN这样的结果看起来像天才的难以置信的飞跃，是无法接近的。然而，通过这篇文章，我希望你已经看到这些进步如何通过多年的努力和合作实现直观，渐进的改进。R-CNN，Fast R-CNN，Faster R-CNN以及最后的Mask R-CNN提出的每个想法都不一定是量子跳跃，但它们的总和产品已经产生了非常显着的结果，使我们更接近人类水平了解视力。 让我特别兴奋的是，R-CNN和Mask R-CNN之间的时间只有三年！通过持续的资金，关注和支持，未来计算机视觉能够进一步提升？

(该分享持续更新中...) 这篇论文主要有三个贡献点： 目前，物体检测、语义分割等技术都是集中在如何在图片上检测出物体，但是忽略了物体与物体之间的关系。一项最近的工作提出了用图（场景图）来代表一个场景。场景图是图像的可解释的结构化表示，可以支持更高级别的视觉智能任务，如captioning。 将每一对节点(对象)视为潜在的边(关系)的自然方法本质上是对全连通图的推理，这种方法在建模上下文关系时通常是有效的，但对对象数量的缩放效果很差(二次)，很快就变得不切实际。嘴朴素的修正方法是采用随机采样，虽然它是efficient，但不是effective，因为对象之间的相互作用的分布远远不是随机的。 作者的解决办法： 图1.给一张图片，模型从图片中抽取出objects(a), 所有节点考虑可能存在的边（b），通过一个医学系的方法‘relatedness’裁去不可能发关系，从而产生更稀疏的候选图结构（c）。最后，利用aGCN去集成全局信息并且更新物体节点和关系的标签（d） 在这项工作中，我们提出了一个新的框架，Graph R-CNN，它通过两种机制有效地利用对象关系规则来智能地稀疏化和推理候选场景图。我们的模型可以分解为三个逻辑阶段:1)对象节点提取，2)关系边缘剪枝，3)图上下文集成，如图1所示。 在对象节点提取阶段，我们使用了一个标准的对象检测的pipeline（faster rcnn）。这就产生了一组localized object regions，如图1b所示。我们将在剩下的pipeline中引入两个重要的新特性，以合并上面讨论的对象关系中的真实世界的规则性。首先，我们介绍了一个关系建议网络(RePN)，该网络能够有效地计算对象对之间的关联分数，这些分数被用来智能地修剪不太可能的场景图连接(与之前工作中的随机修剪不同)，剪枝后的稀疏图如图1c所示。其次，给出了稀疏连接的候选场景图，我们应用了一个注意图卷积网络(aGCN)来在整个图中传播higher-order上下文——更新每个对象及其基于其邻居的关系表示。与现有的工作相比，我们预测每个节点的边attention，使我们的方法能够学习调节不可靠或不太可能的边缘之间的信息流。我们在图1d中显示了细化的图形标签和边缘attention(与边缘宽度成比例)。 现有对于场景图生成的指标是基于召回⟨主题、谓词、对象⟩三元组或给定ground truth的object localizations的对象和谓词。为了揭示这些度量标准存在的问题，考虑一个方法，该方法将图1a中的boy误认为是man，但在其他方面识别出他是1)站在消防栓后面，2)靠近一辆汽车，3)穿着一件毛衣。在基于三元组的度量标准下，这个小错误(boy vs man)将被严重惩罚，尽管大多数boy的关系被正确识别。尽管提供ground-truth区域的度量方法通过严格关注关系预测来回避这个问题，但是它不能准确地反映整个场景图生成系统的测试时性能。 为了解决这种不匹配，我们引入了一种新的评估度量(SGGen+)，它更全面地评估场景图生成的性能，包括对象、属性(如果有的话)和关系。我们提出了度量SGGen +计算总的recall对于独立实体(对象和谓词),pair 实体⟨对象,属性⟩(如果有的话),和三元组实体⟨主题、谓词、对象⟩。我们在这个新的度量下报告现有方法的结果，发现我们的方法也显著地优于最先进的方法。更重要的是，这个新的度量为生成的场景图和真实场景图之间的相似性提供了一个更鲁棒、更全面的度量。 具体来说，本工作通过引入一种新的模型(graph R-CNN)来解决场景图生成问题，该模型可以利用对象关系的规律性，并提出了一种更全面的场景图生成评价指标(SGGen+)。我们将我们的模型与现有的标准度量方法进行基准测试，而这个新度量方法的性能优于现有方法。 利用上下文来提高场景理解的想法在计算机视觉中有着悠久的历史[16,27,28,30]。最近，Johnson等人受到图形界研究的表示方法的启发，提出了从图像中提取场景图的问题，这将对象检测的任务[6,7,22,31,32]概括为也检测对象的关系和属性。 已经提出了许多方法来检测对象及其关系。尽管这些工作中的大多数指出，对场景图中二次关系的推理是棘手的，但每个都采用了启发式方法，如随机抽样来解决这个问题。我们的工作是第一个引入一个可训练的关系建议网络(RePN)，它学会了在不牺牲efficacy的情况下从图中删除不可能的关系边缘。RePN提供了高质量的候选关系，我们发现它提高了场景图生成的整体性能。 大多数场景图生成方法还包括上下文传播和对候选场景图进行推理的机制，以细化最终的标记。在[40]中，Xu等人将问题分解为两个子图，一个用于对象，另一个用于关系，并执行消息传递。类似地，在[17]中，作者提出了两种消息传递策略(并行顺序)，用于在对象和关系之间传播信息。Dai等人将场景图生成过程建模为条件随机场(CRF)的推理。Newell等人提出直接从图像像素中生成场景图，而不需要使用基于关联图嵌入的对象检测器。在我们的工作中，我们开发了一种新的注意图卷积网络(aGCN)来更新节点和关系表示，通过在候选场景图的节点之间传播上下文来操作视觉和语义特征。虽然在功能上类似于上述基于消息传递的方法，但aGCN是高效的，可以学习将注意力放在可靠的边缘，并减弱不太可能的影响。 以往的许多方法都注意到在场景图生成过程中具有很强的规律性，从而激发了我们的方法。在[23]中，Lu等人整合了语言中的语义先验，以改进对对象之间有意义关系的检测。同样，Li等人[18]证明了region caption也可以为场景图生成提供有用的上下文。与我们的动机最相关的是，Zeller等人将motifs的概念(即经常出现的图结构)形式化。并在VG数据集[14]中检测它们的出现的概率。作者还提出了一个令人惊讶的强基线，它直接使用频率先验来明确地综合图结构中的规律来预测关系。 我们的关系建议网络(Relationship Proposal Network, RePN)受到了RPN的启发，与用于对象检测的faster R-CNN[32]的区域建议网络(region Proposal Network, RPN)紧密相关。我们的RePN在本质上也类似于最近提出的关系建议网络(Rel-PN)[45]。这些方法之间有许多细微的差别。Rel-PN模型独立地预测主题、对象和谓词的建议，然后重新对所有有效的三元组进行评分，而我们的RePN根据对象生成关系，允许它学习对象对关系的偏差。此外，他们的方法是类无关的，并没有用于场景图生成。 GCNs最初是在[13]的半监督学习环境中提出的。GCNs将图数据上的复杂计算分解为一系列局部化操作(通常只涉及相邻节点)，用于每个节点的每个时间步。在计算之前，结构和边缘强度通常是固定的。为了完整起见，我们注意到即将出版的出版物[36]同时独立地开发了一个类似的GCN注意机制(如aGCN)，并在其他(非计算机视觉)上下文中显示了它的有效性。 在这项工作中，我们将场景图建模为包含图像区域、关系及其标签的图。 代表image， 代表nodes集合(一个node对应一个localized object region)， 代表物体间的关系， 分别代表object和relationship的labels。因此，我们的目标是为 建模，在我们的工作中，我们把场景图的生成分解为三部分： 将图的构造(节点和边)与图的标注分离开来。这个因式分解背后的直觉很简单。首先，object region proposal 通常使用现成的对象检测系统(如faster rcnn[32])进行建模，以生成候选区域。值得注意的是，现有的方法通常将第二个关系建议项 建模为顶点 之间潜在边的均匀随机抽样。相反，我们提出了一个关系建议网络(RePN)来直接建模 ——使我们的方法成为第一个允许学习整个生成过程端到端。最后，图标记过程 通常被视为迭代求精过程。模型的pipeline如图2所示：每一个object proposal 都与一个空间区域 , 一个合并的特征向量 , 一个初始化估计标签分布 over 相关联。我们将对于所有n个proposals的向量集合表示为矩阵 以及 Relation Proposal Network 给定上一步提出的n个对象节点，它们之间可能有 个连接;然而，正如前面所讨论的，由于真实对象交互中的规则性，大多数对象对不太可能有关系。为了对这些规律进行建模，我们引入了一个关系建议网络(RePN)，该网络能够有效地估计对象对之间的关联性。通过对不太可能关系的边缘进行剪枝，可以有效地稀疏化候选场景图，保留可能的边缘，抑制不太可能的边缘带来的噪声。 在这篇论文中，我们利用估计的类别分布( )来推断关联性——本质上是学习软类别关系的先验。这种选择与我们的直觉一致，即与其他类相比，某些类相对不太可能交互。具体,给定初始对象分类分布 ,我们给所有的 有向对 评分, 计算 时的相关性，其中 是一个习得的相关性对函数。 的一个直接实现可以将连接[p^o_i, p^o_j]作为输入传递给一个多层感知器，该感知器输出分数。然而，考虑到对象对的平方数，这种方法将消耗大量的内存和计算。为了避免这种情况，我们考虑一个非对称的内核函数: 分别代表在关系中主语和宾语对映射函数。这个分解使得，仅使用 的两个投影过程，然后执行一次矩阵乘法就能获得分数矩阵 。对于 和 ，我们使用两个多层感知器(mlp)与相同的架构(但不同的参数)。我们还对分数矩阵S进行了sigmoid操作，使得每一个元素都为0～1之间。 在获得分数矩阵后，我们将其降序排序，然后选择前K对。然后，我们使用非最大抑制(NMS)来过滤出与其他对象有明显重叠的对象对。每个关系都有一对边界框，组合顺序很重要。我们计算两个对象对 and 之间对重叠： 计算两个box交集的区域， 计算并集区域。剩余的m个对象对被认为是具有意义关系E的候选对象。利用E，我们得到了一个图 ，它比原来的全连通图稀疏得多。随着图的边的提出，我们还通过从每个对象对的联合框中提取特征，得到所有m个关系的可视化表示 。 为了整合由图结构提供的上下文信息，我们提出了一个注意图卷积网络(aGCN)。在描述我们提出的aGCN之前，让我们简要回顾一下“普通的”GCN，其中每个节点 都有一个表示 如在[13]中提出的那样。简单,目标节点图中,相邻节点的表示 首先通过学习改变线性变换矩阵 .然后,这些转换表示与预先确定的权值α聚集,紧随其后的是一个非线性函数σ(ReLU [25])。这种分层传播可以写成: 或者我们可以把节点整合进一个矩阵中，就可以得到：与i不相邻的节点设定为0，并且设定αii为1。在传统的GCN中,图中的连接是已知并且系数向量αi是基于对称规范化邻接矩阵的特性预设的。 在这篇论文中，我们将传统的GCN拓展了attention版本，通过调节α。为了能够从节点features预测attention，我们通过一个拼接的节点feature学习了一个两层的MLP，并且对得到的分数进行一次softmax。对于节点i的attention是：and 是习得参数，[·, ·] 是拼接操作。通过定义，我们设定 and 。由于注意力机制是节点特征的函数，每次迭代都会导致注意力的改变，从而影响后续的迭代。 回想一下，在前面的小节中，我们有一组N个对象区域和m个关系。在此基础上，我们构造了一个图G，其中节点对应于对象和关系建议。我们在关系节点及其关联对象之间插入边。我们还在所有对象节点之间直接添加了跳转连接边。这些连接允许信息直接在对象节点之间流动。最近的研究表明，对目标相关性进行推理可以提高检测的性能。我们将aGCN应用于此图，基于全局上下文更新对象和关系表示。 注意到我们的图捕获到不同类型到连接（ ↔ relationship, relationship ↔ subject and object ↔ object）。此外，每个连接之间的信息流可能是不对称的(the 信息量 of subject on relationship might be quite different from relationship to subject)。我们学习了每种类型和顺序的不同转换——将节点类型a到节点类型b的线性转换表示为 ，其中s=subject、o=objects和r=relationships。Object node的representation的更新公式如下（object features为 , relationship features为 ）：with and similarly for relationship nodes as: 一个开放的选择是如何初始化object and relationship node represenstions ，它可能被设置为任何intermediate feature representations，甚至是对应类标签的pre-softmax输出。在实践中，我们同时运行可视化的和语义化的aGCN计算——一个具有可视化的特性，另一个使用pre-softmax输出。通过这种方式，我们既可以推断出较低层的视觉细节，也可以推断出较高级别的语义共现(即汽车轮子)。进一步地，我们把语义aGCN的注意力放在视觉aGCN上——基于视觉线索有效地调节语义信息流。这也加强了两个图中表示的真实对象和关系以相同的方式与其他对象交互。 Loss Function 在Graph R-CNN，我们把场景图生成过程分解成三个子过程： 。在训练阶段，这些子过程都是使用监督训练。对于 ，我们用RPN相同的损失（binary cross entropy loss on proposals，regression loss for anchors）。对于 ，我们使用另一个binary cross entropy loss on the relation proposals。对于最后的场景图生成 ，两个muti-class cross entropy losses是被用于object classification and predicate classification。 场景图生成是一个结构化的图上预测问题，如何正确、有效地对预测进行评价是当前场景图生成研究中尚未解决的问题。我们注意到图论[5]对基于最小图编辑距离的图相似度进行了深入的研究;然而，计算准确的解决方案是np完全和ap近似的APX-hard[20]。 以前的工作通过在[40]中引入一个简单的基于三元组回归的度量来评估场景图的生成，从而绕过了这些问题。根据这个指标,我们将称之为SGGen, the ground truth of 场景图表示为一组通过精确匹配计算。也就是说，在生成的场景图中，如果三个元素都被正确地标记，并且object和subject nodes都被正确地定位(例如，边界框IoU > )。虽然计算简单，但这种度量导致了一些不直观的相似度概念，如图3所示。 SGGen+的计算公式： 是一个计数操作， 是正确被定位和识别的物体节点数； 是正确谓词的数目。由于谓词的定位取决于subject和object的正确定位，所以只有在主语和宾语都正确定位并且正确识别谓词的情况下，我们才会将其算作一个。 是针对三元组的，和SGGen一样。N是ground真值图中的条目数(对象、谓词和关系的总数)。

传感器与检测技术属于自动化专业、电气工程及其自动化专业及过程装备与控制专业的技术基础课程，下面我给大家分享一些检测与传感技术论文，大家快来跟我一起欣赏吧。

传感器与检测技术课程教学探索

摘 要：传感器与检测技术属于自动化专业、电气工程及其自动化专业及过程装备与控制专业的技术基础课程，对学生综合运用所专业学知识有着关键的作用，文中针对课程的特点及现存的问题,对该课程的教学内容调整与 教学 方法 改进进行了有益的探讨，以期获得更好的教学质量与效果。

关键词：传感器与检测技术;教学改革;教学方法

中图分类号：G71 文献标识码：A

文章 编号：1009-0118(2012)05-0132-02

传感器与检测技术是自动化专业、电气工程及其自动化专业及过程装备与控制专业的技术基础课程，主要研究自动检测系统中的信息提取、信息转换及信息处理的理论与技术为主要内容的一门应用技术课程。传感技术是自动检测系统，更是控制系统的前哨，它广泛的应用于各个领域，在在促进生产发展和现代科技进步方面发挥着重要作用。学生学好这门课程不仅能为后续课程打下好的基础，也对学生综合运用所专业学知识有着关键的作用，自从2005年课程教学大纲调整以后，在教学中出现了一些新的问题，原有的传统教学模式很难获得良好的教学质量与效果。

一、课程教学现存的问题

自2005年起我校重新制定了自动化专业的教学大纲，其中将传感器与检测技术由考试课调整为考查课，并将课时由64学时更改为32课时，通过几年的 教学 总结 出该课程在教学中存在的一些困难：

(一)教学内容多而散

课程内容多且散，涉及知识面广，有物理学，化学，电子学，力学等等，属于多学科渗透的一门课程，学生学习有难度，特别是对于一些基础不太好的同学更是有困难。

(二)典型应用性

传感器与检测技术属于典型的应用课程，要学习各种传感器的原理，并掌握它的使用，在此基础上掌握搭建检测系统的方法，单靠理论的学习必定是有差距的。而实验课时不充裕，实验条件也有限。

(三)学时越来越少

学校目前对学生的定位是“培养优秀的工程应用型人才”，为了加大实践环节的因此对课程设置与课时作了调整，本课程课时被缩减至32课时。

(四)学生的学习主动性差

由于本课程被定为考查课，所以有相当一部份同学从 学习态度 上不太重视，没有投入必要的精力和时间，学习主动性差，直接影响教学效果。

二、教学内容与教学方法的探索

(一)教学内容的调整

目前大部分的传感器与检测技术的教材多侧重于传感器的工作原理、测量线路及信息处理等方面，而对具体应用涉及较少，针对课程的内容多课时少的情况，教学时无法做到面面俱到，教学内容必须做适当调整。根据学校对工科本科生工程应用型人才的定位，教学内容的调整遵循以下原则：

1、避免繁琐的理论推导过程，以避繁就简的方式向学生讲解传感器的工作原理。例如：用幻灯片演示使用酒精灯分别燃烧热电偶的两端，在两端存在温差的时候两电极间即出现电势差，无温差时电势差消失，通过这个实例讲解电势差之所以存在的原因，可以配以大家能够理解的简单的公式推导，而不把重心放在构成热电偶的温差电动势和接触电动势形成的公式推导上。

2、重点讲述传感器的实物应用。增加实际案例是学生能够对传感器的应用有更感性的认识。

3、适当补充传感器与系统互联的方法。在先期几种传感器的应用中加入传感器接入控制器的方式介绍，使其思考所学课程之间的关联，对所学专业课程之间的联系能更加深入的认识，建立起系统的概念。

(二)教学方法的改革

为了克服课程教学中客观存在的困难，获得良好的教学效果，在课堂教学使用多种教学方法和手段，力求将教学内容讲解得更加生动、具体。

1、采用多媒体技术，使用现代化的教学手段来提升教学效果和教学质量

采用多媒体课件教学，一方面可以省去教师用于黑板板书的大量时间，克服课时减少的问题;另一方面，以动画的形式生动形象的演示传感器的工作原理，展示所学传感器的各种照片、复杂检测系统的原理图或线路图，使学生能够直观地认识传感器，更容易理解传感器的工作原理和应用。例如，学习光栅传感器时，使用传统的教学手段，很难使同学们理解莫尔条文的形成及其移动过程，使用对媒体课件就可以以动画的形式使同学们直观的明暗相间的莫尔条纹是什么样子，还可以以不同的速度使指示光栅在标尺光栅上进行移动，清晰的看出条纹移动的方向与光栅夹角及指示光栅移动方向的关系。学习增量式光电编码器时，很多同学很难理解编码器的辨向问题，通过使用幻灯片展示编码器的内部结构，直接了解光栏板上刻缝、码盘及光电元件的位置关系后，同学们就能更容易的理解辨向码道、增量码道与零位码道形成脉冲的相位关系，佐以简单的辨向电路就可以使同学们更高效的学习该传感器的工作原理及应用方法。

总而言之，利用多媒体技术使学生能够获取更多的信息，增强学习的趣味性和生动性。

2、重视绪论，提升学生的学习主动性

很多教材的绪论写的比较简略，但我个人认为这不代表它不重要，特别是面对学生主观上不重视课程的情况下，更要下大力气上好绪论这第一次课，吸引学生的注意力，激发学习兴趣，使学生认识到这门课程的实用价值。通过幻灯片演示传感器与检测技术在国民经济中的地位和作用，使同学们了解到小到日常生活，大到航空航天、海洋预测等方面都有着传感器与检测技术的应用，更根据各种行业背景中需要检测的物理量，自动控制理论在实现过程中传感器与检测技术的关键作用，使学生认识该课程的重要性。另一方面，我校长年开展本科生科研实训项目，在开设本课程时已有部分同学成功申请实训课题，一般本专业的同学还是围绕专业应用领域申请课题，其中大部分会涉及传感器与检测技术的内容，所以也就他们正在进行的课题中使用传感器解决的具体问题进行讨论，更加直接的体会到本课程的关键作用，从而提升学生学习的兴趣，增强主动性，克服考查课为本课程教学带来的部分阴影。

3、加大案例教学比重、侧重应用

根据培养工程应用型人才的目标，本课程教学的首要目的是使学生能够合理选择传感器，对传感器技术问题有一定的分析和处理能力，知晓传感器的工程设计方法和实验研究方法。所以在教学中注意分析各类传感器的区别与联系，利用大量的具体案例分析传感器的应用特点。

例如，教材中在介绍电阻应变式传感器是，主要是从传感器的结构、工作原理及测量电路几个方面进行分析介绍的，缺乏实际应用案例。在教学中用幻灯片展示不同应用的实物图，譬如轮辐式的地中衡的称重传感器，日常生活中常见的悬臂梁式的电子秤、人体称、扭力扳手等。用生动的动画显示不同应用下的传感器的反应，例如，进行常用传感器热电偶的学习时，展示各种类型热电偶的实物照片，补充热电偶安装的方式，以换热站控制系统为案例，分析热电偶在温度测量上的应用，重点讲解传感器的输出信号及与控制系统互连问题。在介绍光电池传感器时补充用于控制的干手器、用于检测的光电式数字转速表及照度表的应用案例，通过案例是同学们对传感器应用的认识更加深入。

4、利用学校的科研实训提升学生的学习兴趣、加强学生的实践能力

我校学生自二年级起可以开始申请科研实训项目，指导老师指导，学生负责，本课程在学生三年级第一学期开设，在此之前已有部分同学参加了科研实训项目，在这些项目中，譬如智能车项目、数据采集系统实现等实训项目中都包含传感器与检测技术的应用，上课前教师了解这些项目，就可以就实际问题提出问题，让学生带着问题来学习，提升学习的兴趣。另外可以在学习的同时启发同学们集思广益，与实验中心老师联系，联合二年级同学进行传感器的设计制作，或者进入专业实验室进行传感器应用方面的实训实验，鼓励同学申报的科研实训项目，提高学生的实践能力。

三、结束语

通过几年的教学与总结，对教学内容、教学方法进行了分析研究，作了适当的改革。调整的教学内容重点更突出，侧重应用，补充了丰富的案例，激发了学生的学习兴趣，多媒体的教学方法增强了教学的生动性，与科研实训的相结合，对课堂教学进行拓展，加强了学习的主动性，提升了实践能力。从近几年的网上评教结果来看，所做的教学调整与改革受学生的欢迎和好评，取得了较好的教学效果。

参考文献：

[1]袁向荣.“传感器与检测技术”课程教学方法探索与实践[J].中国电力 教育 ,2010,(21):85-86.

[2]陈静.感器与检测技术教学改革探索[J].现代教育装备,2011,(15):94-95.

[3]周祥才,孟飞.检测技术课程教学改革研究[J].常州工学院学报,2010,(12):91-92.

[4]张齐,华亮,吴晓.“传感器与检测技术”课程教学改革研究[J].中国教育技术装备,2009,(27):42-43.

点击下页还有更多>>>检测与传感技术论文