yolov5论文arxiv

尊敬的用户，AnchorFree拥有两个输出，其中一个用于连接开发板，另一个是官方推荐的输出，用户可以使用它将开发结果导出到其他设备。

1 简介

针对无人机捕获场景的目标检测是最近比较流行的一项任务。由于无人机在不同高度飞行，目标尺度变化较大，这样给模型的优化也带来了很大的负担。此外，在无人机进行高速低空飞行时，也会带来密集目标的运动模糊问题。

图1 小目标与密集问题

为了解决上述2个问题，本文提出了 TPH-YOLOv5 。 TPH-YOLOv5 在YOLOv5的基础上增加了一个prediction heads 来检测不同尺度的目标。然后通过探索Self-Attention的预测潜力使用了Transformer Prediction Heads(TPH)代替原来的prediction heads。同时作者还集成了卷积块Attention模型(CBAM)来寻找密集场景下的注意力区域。

为了进一步改进 TPH-YOLOv5 ，作者还提供了大量有用的策略，如数据增强、多尺度测试、多模型集成和使用额外的分类器。

在VisDrone2021数据集上的大量实验表明，TPH-YOLOv5在无人机捕获场景上具有良好的性能和可解释性。在DET-test-challenge数据集上，TPH-YOLOv5的AP结果为，比之前的SOTA方法(DPNetV3)提高了。在VisDrone Challenge 2021中，TPH-YOLOv5与YOLOv5相比提高了约7%。

本文的贡献如下:

2 前人工作总结 Data Augmentation

数据增强的意义主要是扩展数据集，使模型对不同环境下获得的图像具有较高的鲁棒性。

Photometric和geometric被研究人员广泛使用。对于Photometric主要是对图像的色相、饱和度和值进行了调整。在处理geometric时主要是添加随机缩放、裁剪、平移、剪切和旋转。

除了上述的全局像素增强方法外，还有一些比较独特的数据增强方法。一些研究者提出了将多幅图像结合在一起进行数据增强的方法，如MixUp、CutMix和Mosaic。

MixUp从训练图像中随机选取2个样本进行随机加权求和，样本的标签也对应于加权求和。不同于通常使用零像素mask遮挡图像的遮挡工作，CutMix使用另一个图像的区域覆盖被遮挡的区域。Mosaic是CutMix的改进版。拼接4幅图像，极大地丰富了被检测物体的背景。此外，batch normalization计算每层上4张不同图像的激活统计量。

在TPH-YOLOv5的工作中主要是结合了MixUp、Mosaic以及传统方法进行的数据增强。

Multi-Model Ensemble Method

我们都知道深度学习模型是一种非线性方法。它们提供了更大的灵活性，并可以根据训练数据量的比例进行扩展。这种灵活性的一个缺点是，它们通过随机训练算法进行学习，这意味着它们对训练数据的细节非常敏感，每次训练时可能会得到一组不同的权重，从而导致不同的预测。 这给模型带来了一个高方差 。

减少模型方差的一个成功方法是训练多个模型而不是单一模型，并结合这些模型的预测。

针对不同的目标检测模型，有3种不同的ensemble boxes方法:非最大抑制(NMS)、Soft-NMS、Weighted Boxes Fusion(WBF)。

在NMS方法中，如果boxes的overlap, Intersection Over Union(IoU)大于某个阈值，则认为它们属于同一个对象。对于每个目标NMS只留下一个置信度最高的box删除其他box。因此，box过滤过程依赖于这个单一IoU阈值的选择，这对模型性能有很大的影响。

Soft-NMS是对NMS进行轻微的修改，使得Soft-NMS在标准基准数据集(如PASCAL VOC和MS COCO)上比传统NMS有了明显的改进。它根据IoU值对相邻边界box的置信度设置衰减函数，而不是完全将其置信度评分设为0并将其删除。

WBF的工作原理与NMS不同。NMS和Soft-NMS都排除了一些框，而WBF将所有框合并形成最终结果。因此，它可以解决模型中所有不准确的预测。本文使用WBF对最终模型进行集成，其性能明显优于NMS。

Object Detection

基于CNN的物体检测器可分为多种类型:

一些检测器是专门为无人机捕获的图像设计的，如RRNet、PENet、CenterNet等。但从组件的角度来看，它们通常由2部分组成，一是基于CNN的主干，用于图像特征提取，另一部分是检测头，用于预测目标的类和Box。

此外，近年来发展起来的目标检测器往往在backbone和head之间插入一些层，人们通常称这部分为检测器的Neck。接下来分别对这3种结构进行详细介绍：

Backbone

常用的Backbone包括VGG、ResNet、DenseNet、MobileNet、EfficientNet、CSPDarknet53、Swin-Transformer等，均不是自己设计的网络。因为这些网络已经证明它们在分类和其他问题上有很强的特征提取能力。但研究人员也将微调Backbone，使其更适合特定的垂直任务。

Neck

Neck的设计是为了更好地利用Backbone提取的特征。对Backbone提取的特征图进行不同阶段的再处理和合理使用。通常，一个Neck由几个自底向上的路径和几个自顶向下的路径组成。Neck是目标检测框架中的关键环节。最早的Neck是使用上下取样块。该方法的特点是没有特征层聚合操作，如SSD，直接跟随头部后的多层次特征图。

常用的Neck聚合块有：FPN、PANet、NAS-FPN、BiFPN、ASFF、SAM。这些方法的共性是反复使用各种上下采样、拼接、点和或点积来设计聚合策略。Neck也有一些额外的块，如SPP, ASPP, RFB, CBAM。

Head

作为一个分类网络，Backbone无法完成定位任务，Head负责通过Backbone提取的特征图检测目标的位置和类别。

Head一般分为2种：One-Stage检测器和Two-Stage检测器。

两级检测器一直是目标检测领域的主导方法，其中最具代表性的是RCNN系列。与Two-Stage检测器相比One-Stage检测器同时预测box和目标的类别。One-Stage检测器的速度优势明显，但精度较低。对于One-Stage检测器，最具代表性的型号是YOLO系列、SSD和RetaNet。

Overview of YOLOv5

YOLOv5有4种不同的配置，包括YOLOv5s，YOLOv5m, YOLOv5l和YOLOv5x。一般情况下，YOLOv5分别使用CSPDarknet53+SPP为Backbone，PANet为Neck, YOLO检测Head。为了进一步优化整个架构。由于它是最显著和最方便的One-Stage检测器，作者选择它作为Baseline。

图2 THP-YOLOv5整体架构

当使用VisDrone2021数据集训练模型时，使用数据增强策略(Mosaic和MixUp)发现YOLOv5x的结果远远好于YOLOv5s、YOLOv5m和YOLOv5l, AP值的差距大于。虽然YOLOv5x模型的训练计算成本比其他3种模型都要高，但仍然选择使用YOLOv5x来追求最好的检测性能。此外，根据无人机捕获图像的特点，对常用的photometric和geometric参数进行了调整。

TPH-YOLOv5

TPH-YOLOv5的框架如图3所示。修改了原来的YOLOv5，使其专一于VisDrone2021数据集：

图3 TPH-YOLOv5模型结构 微小物体的预测头

作者统计了VisDrone2021数据集，发现它包含了很多非常小的目标，所以增加了一个用于微小物体检测的预测头。结合其他3个预测头，4头结构可以缓解剧烈的目标尺度变化带来的负面影响。如图3所示，添加的预测头(Head 1)是由low-level、高分辨率的feature map生成的，对微小物体更加敏感。增加检测头后，虽然增加了计算和存储成本，但对微小物体的检测性能得到了很大的提高。

Transformer encoder block

图4 Transformer Block

用Transformer encoder块替换了YOLOv5原版中的一些卷积块和CSP bottleneck blocks。其结构如图4所示。与CSPDarknet53中原有的bottleneck blocks相比，作者认为Transformer encoder block可以捕获全局信息和丰富的上下文信息。

每个Transformer encoder block包含2个子层。第1子层为multi-head attention layer，第2子层(MLP)为全连接层。每个子层之间使用残差连接。Transformer encoder block增加了捕获不同局部信息的能力。它还可以利用自注意力机制来挖掘特征表征潜能。在VisDrone2021数据集中，Transformer encoder block在高密度闭塞对象上有更好的性能。

基于YOLOv5，作者只在头部部分应用Transformer encoder block形成transformer Prediction head(TPH)和backbone端。因为网络末端的特征图分辨率较低。将TPH应用于低分辨率特征图可以降低计算和存储成本。此外，当放大输入图像的分辨率时可选择去除早期层的一些TPH块，以使训练过程可用。

Convolutional block attention module (CBAM)

CBAM是一个简单但有效的注意力模块。它是一个轻量级模块，可以即插即用到CNN架构中，并且可以以端到端方式进行训练。给定一个特征映射，CBAM将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化。

图5 CBAM注意力机制

CBAM模块的结构如图5所示。通过本文的实验，在不同的分类和检测数据集上将CBAM集成到不同的模型中，模型的性能得到了很大的提高，证明了该模块的有效性。

在无人机捕获的图像中，大覆盖区域总是包含令人困惑的地理元素。使用CBAM可以提取注意区域，以帮助TPH-YOLOv5抵制令人困惑的信息，并关注有用的目标对象。

Self-trained classifier

用TPH-YOLOv5对VisDrone2021数据集进行训练后，对test-dev数据集进行测试，然后通过可视化失败案例分析结果，得出TPH-YOLOv5定位能力较好，分类能力较差的结论。作者进一步探索如图6所示的混淆矩阵，观察到一些硬类别，如三轮车和遮阳三轮车的精度非常低。

图6 检测混淆矩阵

因此，作者提出了一个Self-trained classifier。首先，通过裁剪ground-truth边界框并将每个图像patch的大小调整为64 64来构建训练集。然后选择ResNet18作为分类器网络。实验结果表明，在这个Self-trained classifier的帮助下，所提方法对AP值提高了约。

4实验与结论

最终在test-set-challenge上取得了的好成绩，远远高于VisDrone2020的最高成绩。

图9 检测结果图

Anchorfree的输出可以有多个。它是一种网络安全解决方案，它可以帮助您保护您的网络流量，并且可以防止您的网络流量被窃取或拦截。它可以让您在网络上自由浏览，而不必担心被攻击者攻击或拦截。Anchorfree的输出可以通过它的安全服务器来实现，它可以帮助您访问被墙的网站，并且可以提供更安全的网络连接。此外，Anchorfree还提供了一些其他的安全功能，例如VPN，可以帮助您更好地保护您的网络安全。

热门频道首页博客研修院VIPAPP问答下载社区推荐频道活动招聘专题打开CSDN APPCopyright © 1999-2020, , All Rights Reserved打开APPAnchor-free之CenterNet 原创2020-07-09 22:39:58有点方 码龄7年关注anchor-base VS Anchor-freeAnchor-base存在的问题：•与锚点框相关超参 (scale、aspect ratio、IoU Threshold) 会较明显的影响最终预测效果；•预置的锚点大小、比例在检测差异较大物体时不够灵活；•大量的锚点会导致运算复杂度增大，产生的参数较多；•容易导致训练时negative与positive的比例失衡。Anchor-free算法的优点：•使用类似分割的思想来解决目标检测问题；•不需要调优与anchor相关的超参数；•避免大量计算GT boxes和anchor boxes 之间的IoU，使得训练过程占用内存更低。由于物体的中心区域是远小于其他背景区域的，整个分类的正负样本和难易样本是极不均衡的。直接训练这样的分类问题很难收敛到一个满意的结果。Base anchor对于正负样本比例失调的解决方式一般为focal loss 和OHEM。前者在损失函数上优化，对正负样本已经困难样本进行不同程度的惩罚；后者将原来的ROI网络扩充为两个ROI，一个ROI只有前向传播，用于计算损失，一个ROI正常前向后向传播，以hard example作为输入，计算损失并传递梯度，根据损失进行筛选，选出对分类和检测影响大的样本。Base anchor检测差异较大物体的策略主要是FPN，如果没有引入FPN，feature map的每个位置只能输出一个框，并且下采样的倍数是8或者16，那么可能会有很多物体的中心点落在同一格子中，这样就会导致训练的时候有多框重叠现象。FPN这种多层级的表示有效解决了这种冲突的现象，可以在一定程度上解决检测物体差异较大的现象。Anchor free没有使用FPN, feature map的每个位置只能输出一个框，下采样的倍数是8或者16，随着FPN的引入，不同尺寸的物体被分配到了不同的层级上，冲突的概率大大降低。CenterNet VS CornerNet等CornerNet将bbox的两个角作为关键点；ExtremeNet 检测所有目标的 最上，最下，最左，最右，中心点。它们都需要经过一个关键点grouping阶段，这会降低算法整体速度。CenterNet针对CornerNet对内部语义缺失和grouping耗时的问题，提出了对中心点进行估计的方法，找到目标的中心，回归出他们的尺寸。仅仅提取每个目标的中心点，无需对关键点进行grouping 或者是后处理。网络结构论文中CenterNet提到了三种用于目标检测的网络，这三种网络都是编码解码(encoder-decoder)的结构：1. Resnet-18 with up-convolutional layers : coco and 142 FPS2. DLA-34 : COCOAP and 52 FPS3. Hourglass-104 : COCOAP and FPS每个网络内部的结构不同，但是在模型的最后输出部分都是加了三个网络构造来输出预测值，默认是80个类、2个预测的中心点坐标、2个中心点的偏置。确立中心点在整个训练的流程中，CenterNet学习了CornerNet的方法。对于每个标签图(ground truth)中的某一类，我们要将真实关键点(true keypoint) 计算出来用于训练，中心点的计算方式如下对于下采样后的坐标，我们设为其中 R 是文中提到的下采样因子4。所以我们最终计算出来的中心点是对应低分辨率的中心点。然后我们对图像进行标记，在下采样的[128,128]图像中将ground truth point以下采样的形式，用一个高斯滤波来将关键点分布到特征图上。损失函数1.中心点的损失函数其中 α 和 β 是Focal Loss的超参数, N 是图像 I 的的关键点数量，用于将所有的positive focal loss标准化为1。在这篇论文中 α 和 β 分别是2和4。这个损失函数是Focal Loss的修改版，适用于CenterNet。2.目标中心的偏置损失图像进行了 R=4 的下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个local offset 去补偿它。所有类 c 的中心点共享同一个offset prediction，这个偏置值(offset)用L1 loss来训练：这个偏置损失是可选的，我们不使用它也可以，只不过精度会下降一些。3.目标大小的损失假设 (X1(k),Y1(k),X2(k),Y2(k)) 为为目标 k，所属类别为c，它的中心点为我们使用关键点预测 Y^ 去预测所有的中心点。然后对每个目标 K 的size进行回归，最终回归到Sk=(X2(k)-X1(k), Y2(k)-Y1(k))，这个值是在训练前提前计算出来的，是进行了下采样之后的长宽值。作者采用L1 loss 监督w,h的回归4.总损失函数整体的损失函数为物体损失、大小损失与偏置损失的和，每个损失都有相应的权重。论文中 size 和 off的系数分别为和1 ，论文中所使用的backbone都有三个head layer，分别产生[1,80,128,128]、[1,2,128,128]、[1,2,128,128]，也就是每个坐标点产生 C+4 个数据，分别是类别以及、长宽、以及偏置。推理阶段在预测阶段，首先针对一张图像进行下采样，随后对下采样后的图像进行预测，对于每个类在下采样的特征图中预测中心点，然后将输出图中的每个类的热点单独地提取出来。就是检测当前热点的值是否比周围的八个近邻点(八方位)都大(或者等于)，然后取100个这样的点，采用的方式是一个3x3的MaxPool。代码中设置的阈值为，也就是从上面选出的100个结果中调出大于该阈值的中心点，最后经过soft nms得到最终的结果。CenterNet的缺点1.当两个不同的object完美的对齐，可能具有相同的center，这个时候只能检测出来它们其中的一个object。2.有一个需要注意的点，CenterNet在训练过程中，如果同一个类的不同物体的高斯分布点互相有重叠，那么则在重叠的范围内选取较大的高斯点。附：DCN:文章知识点与官方知识档案匹配OpenCV技能树OpenCV中的深度学习图像分类12101 人正在系统学习中打开CSDN APP，看更多技术内容CenterNet(Objects as Points)学习笔记论文: Objects as Points Code: CenterNer的提出 一般的detection方法将object识别成(无旋转的)矩形框。大部分成功的object检测器会枚举出很多object的位置和尺寸，对每一个候选框进行分类。这是浪费的、低效的。 常规方法中的后处理方法(nms等)是很难微分(diff...继续访问『深度应用』对CenterNet的一些思考与质疑·对比与U版YoloV3速度与精度0.引子 笔者很喜欢CenterNet极简的网络结构，CenterNet只通过FCN（全卷积）的方法实现了对于目标的检测与分类，无需anchor与nms等复杂的操作高效的同时精度也不差。同时也可以很将此结构简单的修改就可以应用到人体姿态估计与三维目标检测之中。 后面一些针对CenterNet结构应用于其他任务，也取得不错的效果，比如人脸检测CenterFace以及目标追踪CenterTrack与FairMot。这些内容后面等笔者研习过后再补充，后面应该会做一个类CenterNet结构总结对比，感兴.继续访问最新发布 目标检测 | Anchor free之CenterNet深度解析点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达1 前言本文接着上一讲对CornerNet的网络结构和损失函数的解析,链接如下本文来聊一聊Anchor-Free领域耳熟能详的CenterNet。原论文...继续访问CenterNet遇到的问题问题总结 参考pillow报错 conda install 'pillow<' 报错参考THCG改main中 conda创建环境相关操作 conda相关操作2 : HTTP Error 404: Not Found网络问题 AttributeError: Can't pickle local objec...继续访问目标检测：使用mmdetection对比centernet与yolov3的性能前情概要 上一篇博客，我通过mmdetection实现的源码解释了centernet的原理，并分析了该算法的一些优缺点，本篇博客我将讲解如何通过mmdetection运行centernet，并基于一个x光数据集对比centernet与yolov3的性能。 本文使用数据集介绍 本文使用的数据集是安检x光的数据集，数据集大小为3600张图片和对应标注，样例图片如下 而需要检测的物体label有10个：knife、scissors、lighter、zippooil、pressure、slingshot、han继续访问关于CenterNet移动端部署的思考（for ncnn）参考 腾讯技术工程 公众号： 本文主要是参考 arlencai 大佬的博文，对于cneternet在ncnn平台移植的实操和分析，先mark一下，准备后续有空闲尝试将这一思路在nvidia的jetson平台上尝试部署，并进行系列优化（如硬件方面框架的tensorrt量化优化、网络层面的移动端部署替代，或者类似yolov5的CSP结构等方法改良尝试等） 一、背景 原文中，大佬主要是针对微信的“扫一扫”功能进行阐述继续访问CenterNet原文： 扔掉anchor！真正的CenterNet——Objects as Points论文解读 Oldpan 2019年5月16日 0条评论137次阅读0人点赞 anchor-free目标检测属于anchor-free系列的目标检测，相比于CornerNet做出了改进，...继续访问Anchor Free，框即是点，CenterNet论文：Objects as Points Github： CVPR 2019 CenterNet，一个anchor free的新的检测算法，算是对cornerNet的改进，在cornerNet基础上，引入了中心点的概念，因此，称为CenterNet。 算法亮点， anchor free，大大减少了a...继续访问深度学习（三十七）——CenterNet, Anchor-Free, NN QuantizationCenterNet CenterNet是中科院、牛津、Huawei Noah’s Ark Lab的一个联合团队的作品。（） 论文： 《CenterNet: Keypoint Triplets for Object Detection》 上图是CenterNet的网络结构图。 正如之前提到的，框对于物体来说不是一个最好的表示。同理，Corner也不是什么特别好的表示：绝大多数情况下，C...继续访问anchor-free目标检测之centernet自从anchor-free方法实现目标检测的Cornernet提出后，对其进行改进的方法也出现了许多。centernet是一篇对其进行改进的论文，将原来的二元组角点检测扩展为三元组检测，加入了中心点的检测。 为了克服需要手动设计anchor的超参数的问题，Cornernet提出基于关键点检测的方法。但是，基于关键点的方法经常会产生大量不正确的对象边界框，可以说是由于缺少对裁剪区域的额外观察。 ...继续访问目标检测深度学习方法综述（二）0.前言 本来准备将一些模型汇总成一篇博客的，但是不知道为啥写了一万多字之后这博客草稿就保存不了了，所以我将剩下的部分放到这篇博客中来（奇怪的BUG ）前文地址： 我们接着上篇文章的章节来好吧。 SSD算法 SSD 算法是 Faster RCNN 和 YOLO 的结合： 采...继续访问配置和运行CenterNet时踩过的坑在运行CenterNet时遇到的一些问题继续访问简单聊聊centerNet:将目标当成点－1．论文CenterNet：将目标视为点 《Objects as Points》 Date：20190417 Author：德克萨斯大学奥斯汀分校 和 UC 伯克利 ariXiv： ​ github： ​ ...继续访问CenterNet配置及问题详解作者原版github： Install 按照readme文件夹中的操作： 0.创建一个虚拟环境 conda create --name CenterNet python=创建一个名为CenterNet的虚拟环境 source activate CenterNet #激活...继续访问热门推荐 CenterNet算法笔记论文：Objects as Points 论文链接： 代码链接： 这篇CenterNet算法也是anchor-free类型的目标检测算法，基于点的思想和CornerNet是相似的，方法上做了较大的调整，整体上给人一种非常清爽的感觉，算法思想很朴素、直接，而且...继续访问论文阅读笔记 | 目标检测算法——CenterNet算法如有错误，恳请指出 文章目录1. Introduction2. keypoint detection offset size overall loss3. Objects as Points4. Result paper：Objects as Points Source code： 思想： 目标检测将对象识别为图像中与轴对齐的框。大多数成功的物体检测.继续访问目标检测Anchor free方法总结：YOLOv1、CornerNet、CenterNet、FCOSYOLOv1（2016）: CornerNet（2018）: CenterNet（2019）: FCOS（2019）： 什么是Anchor free方法？   Anchor free是相对于Anchor base而言的一种目继续访问Anchor-free目标检测系列3：CenterNet Object as points​​​​​​CenterNet(一个中心点) CenterNet: Objects as Points () 论文是由德克萨斯大学奥斯汀分校和UC 伯克利学者共同提出的真正意义上anchor-free的算法。与之前介绍的CornerNet系列算法不同，CenterNet仅仅检测目标中心点，没有后续的角点配对及NMS后处理操作，检测速度和精度相比于one-stage和two...继续访问扔掉anchor！真正的CenterNet——Objects as Points论文解读前言 anchor-free目标检测属于anchor-free系列的目标检测，相比于CornerNet做出了改进，使得检测速度和精度相比于one-stage和two-stage的框架都有不小的提高，尤其是与YOLOv3作比较，在相同速度的条件下，CenterNet的精度比YOLOv3提高了4个左右的点。 CenterNet不仅可以用于目标检测，还可以用于其他的一些任务，如肢体识别或者...继续访问深度学习计算机视觉机器学习写评论评论收藏点赞踩分享

对于YOLOv5的命名发布这么大的争议的原因是:Ultralytics公司在开源YOLOv5的代码时,未发布经过同行评议的YOLOv5论文。主要原因就是YOLOv5的license是GPL协议(),而Kaggle不允许使用GPL协议的项目参赛。那么今天就来普及一下这些开源软件协议。软件开源是许多软件企业需要关注的问题,不同的开源软件协议,对应不同的源代码使用限制。只有了解这些开源软件协议,才能更好地使用和回馈开源软件,否则就有可能触犯法律。