目标检测算法综述论文

anchorfree只有一个输出吗首先说fpn,anchor free的做法相当于feature map的每个位置只能输出一个框,可以想象,如果没有fpn这种多层级的表示,如果最终的feature map down sample的倍数是8或者16,那么可能会有很多物体的中心点落在同一格子中。

一、    程明明等人的论文：Salient Object Detection: A Surve（简单归纳了文章中的我认为比较重要的部分） 该论文旨在全面回顾突出显示目标检测的最新进展，并将其与其他密切相关领域（如通用场景分割，目标建议生成以及固定预测的显著性）相关联。主要内容涉及i）根源，关键概念和任务，ii）核心技术和主要建模趋势，以及iii）显著性物体检测中的数据集和评估指标。讨论并提出了未来的研究反向等开放性问题。 1.介绍 1．1 什么是显著性物体 提到一般认为，良好的显著性检测模型应至少满足以下三个标准：1）良好的检测：丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的；2）高分辨率：显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息；3）计算效率：作为其他复杂过程的前端，这些模型应该快速检测显著区域。 显著物体检测历史 （1）Itti等人提出的最早、经典的的显著模型。例如[24]一文掀起了跨认知心理学、神经科学和计算机视觉等多个学科的第一波热潮。 （2）第二波热潮由刘等人的[25]，[55]和Achanta等人的[56]掀起，他们将显著性检测定义为二元分割问题，自此出现了大量的显著性检测模型。 （3）最近出现了第三波热潮，卷积神经网络（CNN）[69]，特别是引入完全卷积神经网络[70]。与基于对比线索的大多数经典方法不同[1]，基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖，因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变感受野大小的神经元。神经元具有较大的接受范围提供全局信息，可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。 2. 现状调查 本节主要回顾三部分内容：1）显著性物体检测模型；2）应用；3）数据集。 经典模型（非常详细） 具有内在线索的基于块的模型 有两个缺点：1）高对比度边缘通常突出而不是突出物体；2）凸显物体的边界不能很好地保存。为了克服这些问题，一些方法提出基于区域来计算显著性。两个主要优点：1）区域的数量远少于区块的数量，这意味着开发高效和快速算法的潜力；2）更多的信息功能可以从区域中提取，领先以更好的表现。 具有内在线索的基于区域的模型（图4） 基于区域的显著性模型的主要优势：1）采用互补先验，以提高整体性能，这是主要优势；2）与像素和色块相比，区域提供更复杂的线索（如颜色直方图），以更好地捕捉场景的显著对象；3）由于图像中的区域数量远小于像素数量，因此在生成全分辨率显著图时，区域级别的计算显著性可以显著降低计算成本。 具有外部线索的模型（图5） 其他经典模型（图6） 局部化模型、分割模型、监督模式与无监督模式、聚合和优化模型 基于深度学习的模型  基于CNN（经典卷积网络）的模型 CNN大大降低了计算成本，多级特征允许CNN更好地定位检测到显著区域的边界，即使存在阴影或反射。但CNN特征的空间信息因为使用了MLP（多层感知器）而无法保留。 基于FCN（完全卷积网络）的模型 该模型具有保存空间信息的能力，可实现点对点学习和端到端训练策略，与CNN相比大大降低了时间成本。但在具有透明物体的场景、前景和背景之间的相同对比度以及复杂的背景等情况无法检测显著物体。 元素： PI=像素，PA=补丁，PE=区域，前缀m和h分别表示多尺度和分层版本。 假设： CP=中心先验，G=全局对比度，L=局部对比度，ED=边缘密度，B=背景先验，F=先验焦点，O=先验物体，CV=先验凸度，CS=中心环绕对比度，CLP=先验颜色，SD空间分布，BC=边界连通之前，SPS=稀疏噪声。 聚合/优化： LN=线性，NL=非线性，AD=自适应，RI=分层，BA=贝叶斯，GMRF=高斯MRF，EM=能量最小化，LS=最小二乘解 线索 ：GT=地面真值注释，SI=相似图像，TC=时间线索，SCO=显著性实现，DP=深度，LF=光场。 对于显著性假设 ： P=通用属性，PRA=预注意线索，HD=高维特征空间中的判别性，SS=显著性相似性，CMP=显著性提示的互补，SP=采样概率，MCO=运动相干性，RP=重复性，RS=区域相似度，C=相应，DK=领域知识。 其他 ： CRF=条件随机场，SVM=支持向量机，BDT=提升决策树，RF=随机森林 4 数据集和评估措施 显著对象检测数据集 早期的带有包围框的突出物体图像：MSRA-A和MSRA-B 使用像素方式的二进制掩码来注释显著对象：ASD和DUT-OMRON 具有复杂和杂乱背景中的多个对象的数据集:[22]、[23]、[26] 评估措施（5个） 用S表示归一化为[0,255]的预测显著图，G是显著对象的地面正式二进制掩模 （1） 精确召回（PR）。首先将显著图S转化为二进制掩码M，然后通过将M与地面真值G进行比较来计算Precission和Recall： （2） F值：通常Precission和Recall都不能完全评估显著图的质量，为此提出F值作为Precission和Recall的非负权重的集权跳河平均： （3） ROC（Receiver Operating Characteristic）曲线：是以假正率（FP_rate）和假负率（TP_rate）为轴的曲线 （4）ROC曲线下面积(AUC)：AUC越大性能越好 （5） 平均绝对误差（MAE）：进行更全面的比较。 图12，比较流行的显著性对象检测数据集：二、    传统显著性检测内容补充（论文中的分类和自己平时习惯不一致，所以重新收集资料整理了一下） 常用显著性检测方法： 1.  认知模型 几乎所有模型都直接或间接地受认知模型启发而来，其一大特点是与心理学和神经学相结合。Itti模型（使用三个特征通道：颜色、属性、方向）是这一类模型的代表，也是后来很多衍生模型的基础 2.  信息论模型 本质是最大化来自所处视觉环境的信息，其中最有影响力的模型是AIM模型。 3.  图论模型 基于图轮的显著性模型把眼动数据看成时间序列，使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图模型可以对复杂的注意机制建模，因此能取得较好的预测能力，缺点在于模型的高复杂度，尤其涉及训练和可读性时。典型模型有：GBVS等 4.  频域模型 基于频谱分析的显著性模型，形式简洁，易于解释和实现，并且在注意焦点预测和显著区域检测方面取得了很大的成功，但其生物合理性不是非常清楚。经典模型有：频谱残差的显著性检测模型（纯数学计算方法）。参考资料链接： 三、    基于深度学习的显著性检测内容补充（论文是2014年所写，关于深度学习部分不够完善，因此在此又补充了一下） 基于深度学习的显著性目标检测研究发展初期从物体检测神经网络到OverFeat，一直难以取得理想的效果。2014年R-CNN的诞生成为第一个真正可以工业级应用的方案，其在VOC2007测试集的mAP提升至66%。但R-CNN框架仍然存在很多问题： 1) 训练分为多个阶段，步骤较为繁琐：微调网络+训练SVM+训练边框回归器 2) 训练耗时，占用磁盘空间大：5000张图片产生几百G的特征文件 3) 速度慢：使用GPU，VGG-16模型处理一张图像需要47s 截止目前，基于深度学习的显著性目标检测研究可以分为基于区域建议的深度学习目标检测和基于回归的深度学习目标检测两个类别。基于区域建议的深度学习目标检测方法有：R-CNN、SPP-net、FastR-CNN、Faster R-CNN、R-FCN等。 1) R-CNN(Regions with CNN features)重复计算，时间、空间代价较高； 2) SPP-net(Spatial Pyramid Pooling)强化了CNN的使用，允许输入大小不一致的图片，进一步强调了CNN特征计算前移、区域处理后移的思想，极大节省计算量，但不是端到端的模型且CNN特征提取没有联动调参数； 3) FastR-CNN的出现解决了前两者重复计算的问题，实现了区域建议到目标检测一端的卷积共享，首次提出的RoI Pooling技术极大地发挥区域后移的优势，加快了训练速度，采用VGG-16作为CNN网络模型，联动调用参数提升了实验效果，但是依然没有实现端到端的模型，对SS区域建议依赖严重； 4) Faster R-CNN弃用选择性搜索，提出了RPN网络来计算候选框，使用端到端的网络进行目标检测，无论在速度上还是在精度上，都得到了极大的提高，但在速度上并不能满足实时的需求，对每个建议分类计算量仍较大，功能上没有进入实例分割阶段。基于回归的深度学习目标检测方法有：YOLO、SSD、G-CNN、NMS等。 1) YOLO(You Only Look Once)将目标检测任务转换成回归问题，大大简化了检测的过程、加快了检测的速度，但预测目标窗口时使用的是全局信息，冗余度高，且没有区域建议机制后检测精度不高； 2) SSD（Single ShotMultibox Detector）预测某个位置时使用的是该位置周围的特征，结合YOLO的回归思想以及FasterR-CNN中的候选区域机制，既保持了YOLO速度快的特性，也保证了精确定位； 3) G-CNN着力于减少初始化建议数量，使数以万计的建议变成极少的初始格网，提升了检测速度； 4) NMS(Non Maximum Suppression)则通过迭代的形式去除重复候选框，取置信率最大的框。 当前实际应用中，基于区域建议的深度学习目标检测使用更为广泛。当前基于深度学习的显著性检测研究方法： R-CNN系列显著性目标检测框架和YOLO显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如：难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的特征等。 原文链接：

Anchorfree的输出可以有多个。它是一种网络安全解决方案，它可以帮助您保护您的网络流量，并且可以防止您的网络流量被窃取或拦截。它可以让您在网络上自由浏览，而不必担心被攻击者攻击或拦截。Anchorfree的输出可以通过它的安全服务器来实现，它可以帮助您访问被墙的网站，并且可以提供更安全的网络连接。此外，Anchorfree还提供了一些其他的安全功能，例如VPN，可以帮助您更好地保护您的网络安全。

热门频道首页博客研修院VIPAPP问答下载社区推荐频道活动招聘专题打开CSDN APPCopyright © 1999-2020, , All Rights Reserved打开APPAnchor-free之CenterNet 原创2020-07-09 22:39:58有点方 码龄7年关注anchor-base VS Anchor-freeAnchor-base存在的问题：•与锚点框相关超参 (scale、aspect ratio、IoU Threshold) 会较明显的影响最终预测效果；•预置的锚点大小、比例在检测差异较大物体时不够灵活；•大量的锚点会导致运算复杂度增大，产生的参数较多；•容易导致训练时negative与positive的比例失衡。Anchor-free算法的优点：•使用类似分割的思想来解决目标检测问题；•不需要调优与anchor相关的超参数；•避免大量计算GT boxes和anchor boxes 之间的IoU，使得训练过程占用内存更低。由于物体的中心区域是远小于其他背景区域的，整个分类的正负样本和难易样本是极不均衡的。直接训练这样的分类问题很难收敛到一个满意的结果。Base anchor对于正负样本比例失调的解决方式一般为focal loss 和OHEM。前者在损失函数上优化，对正负样本已经困难样本进行不同程度的惩罚；后者将原来的ROI网络扩充为两个ROI，一个ROI只有前向传播，用于计算损失，一个ROI正常前向后向传播，以hard example作为输入，计算损失并传递梯度，根据损失进行筛选，选出对分类和检测影响大的样本。Base anchor检测差异较大物体的策略主要是FPN，如果没有引入FPN，feature map的每个位置只能输出一个框，并且下采样的倍数是8或者16，那么可能会有很多物体的中心点落在同一格子中，这样就会导致训练的时候有多框重叠现象。FPN这种多层级的表示有效解决了这种冲突的现象，可以在一定程度上解决检测物体差异较大的现象。Anchor free没有使用FPN, feature map的每个位置只能输出一个框，下采样的倍数是8或者16，随着FPN的引入，不同尺寸的物体被分配到了不同的层级上，冲突的概率大大降低。CenterNet VS CornerNet等CornerNet将bbox的两个角作为关键点；ExtremeNet 检测所有目标的 最上，最下，最左，最右，中心点。它们都需要经过一个关键点grouping阶段，这会降低算法整体速度。CenterNet针对CornerNet对内部语义缺失和grouping耗时的问题，提出了对中心点进行估计的方法，找到目标的中心，回归出他们的尺寸。仅仅提取每个目标的中心点，无需对关键点进行grouping 或者是后处理。网络结构论文中CenterNet提到了三种用于目标检测的网络，这三种网络都是编码解码(encoder-decoder)的结构：1. Resnet-18 with up-convolutional layers : coco and 142 FPS2. DLA-34 : COCOAP and 52 FPS3. Hourglass-104 : COCOAP and FPS每个网络内部的结构不同，但是在模型的最后输出部分都是加了三个网络构造来输出预测值，默认是80个类、2个预测的中心点坐标、2个中心点的偏置。确立中心点在整个训练的流程中，CenterNet学习了CornerNet的方法。对于每个标签图(ground truth)中的某一类，我们要将真实关键点(true keypoint) 计算出来用于训练，中心点的计算方式如下对于下采样后的坐标，我们设为其中 R 是文中提到的下采样因子4。所以我们最终计算出来的中心点是对应低分辨率的中心点。然后我们对图像进行标记，在下采样的[128,128]图像中将ground truth point以下采样的形式，用一个高斯滤波来将关键点分布到特征图上。损失函数1.中心点的损失函数其中 α 和 β 是Focal Loss的超参数, N 是图像 I 的的关键点数量，用于将所有的positive focal loss标准化为1。在这篇论文中 α 和 β 分别是2和4。这个损失函数是Focal Loss的修改版，适用于CenterNet。2.目标中心的偏置损失图像进行了 R=4 的下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个local offset 去补偿它。所有类 c 的中心点共享同一个offset prediction，这个偏置值(offset)用L1 loss来训练：这个偏置损失是可选的，我们不使用它也可以，只不过精度会下降一些。3.目标大小的损失假设 (X1(k),Y1(k),X2(k),Y2(k)) 为为目标 k，所属类别为c，它的中心点为我们使用关键点预测 Y^ 去预测所有的中心点。然后对每个目标 K 的size进行回归，最终回归到Sk=(X2(k)-X1(k), Y2(k)-Y1(k))，这个值是在训练前提前计算出来的，是进行了下采样之后的长宽值。作者采用L1 loss 监督w,h的回归4.总损失函数整体的损失函数为物体损失、大小损失与偏置损失的和，每个损失都有相应的权重。论文中 size 和 off的系数分别为和1 ，论文中所使用的backbone都有三个head layer，分别产生[1,80,128,128]、[1,2,128,128]、[1,2,128,128]，也就是每个坐标点产生 C+4 个数据，分别是类别以及、长宽、以及偏置。推理阶段在预测阶段，首先针对一张图像进行下采样，随后对下采样后的图像进行预测，对于每个类在下采样的特征图中预测中心点，然后将输出图中的每个类的热点单独地提取出来。就是检测当前热点的值是否比周围的八个近邻点(八方位)都大(或者等于)，然后取100个这样的点，采用的方式是一个3x3的MaxPool。代码中设置的阈值为，也就是从上面选出的100个结果中调出大于该阈值的中心点，最后经过soft nms得到最终的结果。CenterNet的缺点1.当两个不同的object完美的对齐，可能具有相同的center，这个时候只能检测出来它们其中的一个object。2.有一个需要注意的点，CenterNet在训练过程中，如果同一个类的不同物体的高斯分布点互相有重叠，那么则在重叠的范围内选取较大的高斯点。附：DCN:文章知识点与官方知识档案匹配OpenCV技能树OpenCV中的深度学习图像分类12101 人正在系统学习中打开CSDN APP，看更多技术内容CenterNet(Objects as Points)学习笔记论文: Objects as Points Code: CenterNer的提出 一般的detection方法将object识别成(无旋转的)矩形框。大部分成功的object检测器会枚举出很多object的位置和尺寸，对每一个候选框进行分类。这是浪费的、低效的。 常规方法中的后处理方法(nms等)是很难微分(diff...继续访问『深度应用』对CenterNet的一些思考与质疑·对比与U版YoloV3速度与精度0.引子 笔者很喜欢CenterNet极简的网络结构，CenterNet只通过FCN（全卷积）的方法实现了对于目标的检测与分类，无需anchor与nms等复杂的操作高效的同时精度也不差。同时也可以很将此结构简单的修改就可以应用到人体姿态估计与三维目标检测之中。 后面一些针对CenterNet结构应用于其他任务，也取得不错的效果，比如人脸检测CenterFace以及目标追踪CenterTrack与FairMot。这些内容后面等笔者研习过后再补充，后面应该会做一个类CenterNet结构总结对比，感兴.继续访问最新发布 目标检测 | Anchor free之CenterNet深度解析点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达1 前言本文接着上一讲对CornerNet的网络结构和损失函数的解析,链接如下本文来聊一聊Anchor-Free领域耳熟能详的CenterNet。原论文...继续访问CenterNet遇到的问题问题总结 参考pillow报错 conda install 'pillow<' 报错参考THCG改main中 conda创建环境相关操作 conda相关操作2 : HTTP Error 404: Not Found网络问题 AttributeError: Can't pickle local objec...继续访问目标检测：使用mmdetection对比centernet与yolov3的性能前情概要 上一篇博客，我通过mmdetection实现的源码解释了centernet的原理，并分析了该算法的一些优缺点，本篇博客我将讲解如何通过mmdetection运行centernet，并基于一个x光数据集对比centernet与yolov3的性能。 本文使用数据集介绍 本文使用的数据集是安检x光的数据集，数据集大小为3600张图片和对应标注，样例图片如下 而需要检测的物体label有10个：knife、scissors、lighter、zippooil、pressure、slingshot、han继续访问关于CenterNet移动端部署的思考（for ncnn）参考 腾讯技术工程 公众号： 本文主要是参考 arlencai 大佬的博文，对于cneternet在ncnn平台移植的实操和分析，先mark一下，准备后续有空闲尝试将这一思路在nvidia的jetson平台上尝试部署，并进行系列优化（如硬件方面框架的tensorrt量化优化、网络层面的移动端部署替代，或者类似yolov5的CSP结构等方法改良尝试等） 一、背景 原文中，大佬主要是针对微信的“扫一扫”功能进行阐述继续访问CenterNet原文： 扔掉anchor！真正的CenterNet——Objects as Points论文解读 Oldpan 2019年5月16日 0条评论137次阅读0人点赞 anchor-free目标检测属于anchor-free系列的目标检测，相比于CornerNet做出了改进，...继续访问Anchor Free，框即是点，CenterNet论文：Objects as Points Github： CVPR 2019 CenterNet，一个anchor free的新的检测算法，算是对cornerNet的改进，在cornerNet基础上，引入了中心点的概念，因此，称为CenterNet。 算法亮点， anchor free，大大减少了a...继续访问深度学习（三十七）——CenterNet, Anchor-Free, NN QuantizationCenterNet CenterNet是中科院、牛津、Huawei Noah’s Ark Lab的一个联合团队的作品。（） 论文： 《CenterNet: Keypoint Triplets for Object Detection》 上图是CenterNet的网络结构图。 正如之前提到的，框对于物体来说不是一个最好的表示。同理，Corner也不是什么特别好的表示：绝大多数情况下，C...继续访问anchor-free目标检测之centernet自从anchor-free方法实现目标检测的Cornernet提出后，对其进行改进的方法也出现了许多。centernet是一篇对其进行改进的论文，将原来的二元组角点检测扩展为三元组检测，加入了中心点的检测。 为了克服需要手动设计anchor的超参数的问题，Cornernet提出基于关键点检测的方法。但是，基于关键点的方法经常会产生大量不正确的对象边界框，可以说是由于缺少对裁剪区域的额外观察。 ...继续访问目标检测深度学习方法综述（二）0.前言 本来准备将一些模型汇总成一篇博客的，但是不知道为啥写了一万多字之后这博客草稿就保存不了了，所以我将剩下的部分放到这篇博客中来（奇怪的BUG ）前文地址： 我们接着上篇文章的章节来好吧。 SSD算法 SSD 算法是 Faster RCNN 和 YOLO 的结合： 采...继续访问配置和运行CenterNet时踩过的坑在运行CenterNet时遇到的一些问题继续访问简单聊聊centerNet:将目标当成点－1．论文CenterNet：将目标视为点 《Objects as Points》 Date：20190417 Author：德克萨斯大学奥斯汀分校 和 UC 伯克利 ariXiv： ​ github： ​ ...继续访问CenterNet配置及问题详解作者原版github： Install 按照readme文件夹中的操作： 0.创建一个虚拟环境 conda create --name CenterNet python=创建一个名为CenterNet的虚拟环境 source activate CenterNet #激活...继续访问热门推荐 CenterNet算法笔记论文：Objects as Points 论文链接： 代码链接： 这篇CenterNet算法也是anchor-free类型的目标检测算法，基于点的思想和CornerNet是相似的，方法上做了较大的调整，整体上给人一种非常清爽的感觉，算法思想很朴素、直接，而且...继续访问论文阅读笔记 | 目标检测算法——CenterNet算法如有错误，恳请指出 文章目录1. Introduction2. keypoint detection offset size overall loss3. Objects as Points4. Result paper：Objects as Points Source code： 思想： 目标检测将对象识别为图像中与轴对齐的框。大多数成功的物体检测.继续访问目标检测Anchor free方法总结：YOLOv1、CornerNet、CenterNet、FCOSYOLOv1（2016）: CornerNet（2018）: CenterNet（2019）: FCOS（2019）： 什么是Anchor free方法？   Anchor free是相对于Anchor base而言的一种目继续访问Anchor-free目标检测系列3：CenterNet Object as points​​​​​​CenterNet(一个中心点) CenterNet: Objects as Points () 论文是由德克萨斯大学奥斯汀分校和UC 伯克利学者共同提出的真正意义上anchor-free的算法。与之前介绍的CornerNet系列算法不同，CenterNet仅仅检测目标中心点，没有后续的角点配对及NMS后处理操作，检测速度和精度相比于one-stage和two...继续访问扔掉anchor！真正的CenterNet——Objects as Points论文解读前言 anchor-free目标检测属于anchor-free系列的目标检测，相比于CornerNet做出了改进，使得检测速度和精度相比于one-stage和two-stage的框架都有不小的提高，尤其是与YOLOv3作比较，在相同速度的条件下，CenterNet的精度比YOLOv3提高了4个左右的点。 CenterNet不仅可以用于目标检测，还可以用于其他的一些任务，如肢体识别或者...继续访问深度学习计算机视觉机器学习写评论评论收藏点赞踩分享