论文原文:
YOLO(you only look once)是继RCNN、faster-RCNN之后,又一里程碑式的目标检测算法。yolo在保持不错的准确度的情况下,解决了当时基于深度学习的检测中的痛点---速度问题。下图是各目标检测系统的检测性能对比:
如果说faster-RCNN是真正实现了完全基于深度学习的端到端的检测,那么yolo则是更进一步,将 目标区域预测 与 目标类别判断 整合到单个神经网络模型中。各检测算法结构见下图:
每个网格要预测B个bounding box,每个bounding box除了要回归自身的位置之外,还要附带预测一个confidence值。这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息,其值是这样计算的:
其中如果有object落在一个grid cell里,第一项取1,否则取0。第二项是预测的bounding box和实际的groundtruth之间的IoU值。
每个bounding box要预测(x, y, w, h)和confidence共5个值,每个网格还要预测一个类别信息,记为C类。即SxS个网格,每个网格除了要预测B个bounding box外,还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。(注意:class信息是针对每个网格的,即一个网格只预测一组类别而不管里面有多少个bounding box,而confidence信息是针对每个bounding box的。)
举例说明: 在PASCAL VOC中,图像输入为448x448,取S=7,B=2,一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。整个网络结构如下图所示:
在test的时候,每个网格预测的class信息和bounding box预测的confidence信息相乘,就得到每个bounding box的class-specific confidence score:
等式左边第一项就是每个网格预测的类别信息,第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率,也有该box准确度的信息。
得到每个box的class-specific confidence score以后,设置阈值,滤掉得分低的boxes,对保留的boxes进行NMS(非极大值抑制non-maximum suppresssion)处理,就得到最终的检测结果。
1、每个grid因为预测两个bounding box有30维(30=2*5+20),这30维中,8维是回归box的坐标,2维是box的confidence,还有20维是类别。其中坐标的x,y用bounding box相对grid的offset归一化到0-1之间,w,h除以图像的width和height也归一化到0-1之间。
2、对不同大小的box预测中,相比于大box预测偏一点,小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。为了缓和这个问题,作者用了一个比较取巧的办法,就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解,小box的横轴值较小,发生偏移时,反应到y轴上相比大box要大。其实就是让算法对小box预测的偏移更加敏感。
3、一个网格预测多个box,希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大,就负责哪个。这种做法称作box predictor的specialization。
4、损失函数公式见下图:
在实现中,最主要的就是怎么设计损失函数,坐标(x,y,w,h),confidence,classification 让这个三个方面得到很好的平衡。简单的全部采用sum-squared error loss来做这件事会有以下不足:
解决方法:
只有当某个网格中有object的时候才对classification error进行惩罚。只有当某个box predictor对某个ground truth box负责的时候,才会对box的coordinate error进行惩罚,而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。
作者采用ImageNet 1000-class 数据集来预训练卷积层。预训练阶段,采用网络中的前20卷积层,外加average-pooling层和全连接层。模型训练了一周,获得了top-5 accuracy为(ImageNet2012 validation set),与GoogleNet模型准确率相当。
然后,将模型转换为检测模型。作者向预训练模型中加入了4个卷积层和两层全连接层,提高了模型输入分辨率(224×224->448×448)。顶层预测类别概率和bounding box协调值。bounding box的宽和高通过输入图像宽和高归一化到0-1区间。顶层采用linear activation,其它层使用 leaky rectified linear。
作者采用sum-squared error为目标函数来优化,增加bounding box loss权重,减少置信度权重,实验中,设定为\lambda _{coord} =5 and\lambda _{noobj}= 。
作者在PASCAL VOC2007和PASCAL VOC2012数据集上进行了训练和测试。训练135轮,batch size为64,动量为,学习速率延迟为。Learning schedule为:第一轮,学习速率从缓慢增加到(因为如果初始为高学习速率,会导致模型发散);保持速率到75轮;然后在后30轮中,下降到;最后30轮,学习速率为。
作者还采用了dropout和 data augmentation来预防过拟合。dropout值为;data augmentation包括:random scaling,translation,adjust exposure和saturation。
YOLO模型相对于之前的物体检测方法有多个优点:
1、 YOLO检测物体非常快
因为没有复杂的检测流程,只需要将图像输入到神经网络就可以得到检测结果,YOLO可以非常快的完成物体检测任务。标准版本的YOLO在Titan X 的 GPU 上能达到45 FPS。更快的Fast YOLO检测速度可以达到155 FPS。而且,YOLO的mAP是之前其他实时物体检测系统的两倍以上。
2、 YOLO可以很好的避免背景错误,产生false positives
不像其他物体检测系统使用了滑窗或region proposal,分类器只能得到图像的局部信息。YOLO在训练和测试时都能够看到一整张图像的信息,因此YOLO在检测物体时能很好的利用上下文信息,从而不容易在背景上预测出错误的物体信息。和Fast-R-CNN相比,YOLO的背景错误不到Fast-R-CNN的一半。
3、 YOLO可以学到物体的泛化特征
当YOLO在自然图像上做训练,在艺术作品上做测试时,YOLO表现的性能比DPM、R-CNN等之前的物体检测系统要好很多。因为YOLO可以学习到高度泛化的特征,从而迁移到其他领域。
尽管YOLO有这些优点,它也有一些缺点:
1、YOLO的物体检测精度低于其他state-of-the-art的物体检测系统。
2、YOLO容易产生物体的定位错误。
3、YOLO对小物体的检测效果不好(尤其是密集的小物体,因为一个栅格只能预测2个物体)。
一种用于三维空间杂波环境机动目标跟踪的数据互联方法,《电子与信息学报》2009年 第4期被动传感器阵列中基于粒子滤波的目标跟踪,《电子与信息学报》2009年 第4期一种新的嵌入式Linux高性能定时器实现方法,《信号处理》2009年 第3期一种新的红外弱小目标检测与跟踪算法,《信号处理》2008年 第6期被动传感器网基于修正Riccati方程的系统优化设计,《信号处理》2008年 第5期基于SIS框架和蚁群算法的非线性多目标跟踪,《电子与信息学报》2008年 第9期基于人类视觉系统的自适应数字水印算法,《上海交通大学学报》2008年 第7期一种基于电子签章的二值图像数字水印算法,《信号处理》2008年 第3期基于身份的网络化制造安全协同商务平台,《计算机工程》2008年 第13期基于Clifford代数传感器网络覆盖理论的路径分析,《电子学报》2007年 第B12期传感器网络高阶模糊覆盖分析,《电子学报》2007年 第B12期传感器网络最佳情况模糊覆盖问题研究,《电子学报》2007年 第B12期一种基于蚁群算法的多目标跟踪数据关联方法,《电子学报》2008年 第3期基于数据仓库的投资决策支持系统设计研究,《微电子学与计算机》2008年 第2期量子球壳聚类,《西安电子科技大学学报》2008年 第1期基于身份的安全邮件认证体系设计与分析,《计算机科学》2008年 第2期异类传感器系统目标快速定位方法,《系统工程与电子技术》2007年 第12期一种基于并行计算熵迁移策略的多分辨DOM数据生成算法,《中国科学技术大学学报》2007年 第12期基于模糊Hough变换的被动传感器系统航迹起始方法,《系统工程与电子技术》2007年 第11期THz信号处理与分析的研究现状和发展展望,《电子学报》2007年 第10期模糊数据互联滤波器及其在机动目标跟踪中的应用,《系统仿真学报》2007年 第20期分布式异类传感器网异步采样下的航迹起始算法,《系统工程与电子技术》2007年 第9期机动目标跟踪中数据互联新方法,《电子与信息学报》2007年 第10期一种新的视界覆盖遗传算法,《西安电子科技大学学报》2007年 第5期基于运动特征的远距离红外目标检测方法,《电子与信息学报》2007年 第8期被动传感器网基于模糊综合贴近度的航迹起始,《电子学报》2007年 第8期基于IBE的跨网络电子公文安全交换平台,《微计算机信息》2007年 第18期一种基于身份的无可信第三方签名方案,《深圳大学学报:理工版》2007年 第3期基于图像梯度场序列的双向GDIM光流计算方法,《电子学报》2007年 第7期一种基于身份的短数字签名方案,《微计算机信息》2007年 第21期分布式异类传感器网Hough变换航迹起始算法,《深圳大学学报:理工版》2007年 第2期基于DWT和DCT域的二值图像数字水印算法,《计算机与数字工程》2007年 第3期基于并行计算熵的同构集群负载均衡算法,《深圳大学学报:理工版》2007年 第1期基于unscented粒子滤波的红外弱小目标跟踪,《系统工程与电子技术》2007年 第1期一种空域DCT与时域DWT相结合的鲁棒视频数字水印算法,《中国体视学与图像分析》2006年 第4期图像插值方法对互信息局部极值的影响分析,《电子与信息学报》2006年 第10期网状被动传感器系统优化设计, 《系统工程与电子技术》2006年 第12期基于小波变换和目标运动特性的红外弱小目标检测, 《红外》2006年 第9期基于小波变换的红外弱小目标检测新方法,《红外技术》2006年 第7期在线CA的安全增强方案研究,《计算机工程》2006年 第11期基于ADSP—BF561车载多媒体系统,《现代电子技术》2006年 第3期空间分析中视界覆盖问题的研究,《系统工程与电子技术》2005年 第11期模糊观测数据的关联和目标跟踪,《信号处理》2005年 第4期从航空影像中自动提取高层建筑物,《计算机学报》2005年 第7期城市航空影像中基于模糊Retinex的阴影消除,《电子学报》2005年 第3期一种新的自适应图像模糊增强算法,《西安电子科技大学学报》2005年 第2期基于OAR模型的航空影像高层建筑自动提取,《深圳大学学报:理工版》2005年 第1期红外热图像序列中基于人体模型的目标头部定位方法,《激光与红外》2005年 第2期直线Snakes及其在建筑物提取中的应用,《西安电子科技大学学报》2005年 第1期网状被动传感器系统视线交叉目标定位方法,《电子与信息学报》2005年 第1期一种新的道路描述子:对称边缘方向直方图,《电子学报》2005年 第1期基于对称边缘方向直方图自动提取主要道路,《中国体视学与图像分析》2005年 第2期分布式被动传感器网异步采样下的机动目标跟踪,《系统仿真学报》2005年 第6期一种基于频带一致性的多模态图像校准算法,《通信学报》2005年 第4期基于模糊熵的自适应图像多层次模糊增强算法,《电子学报》2005年 第4期一种安全增强的基于椭圆曲线可验证门限签名方案,《计算机研究与发展》2005年 第4期密码学与数字水印在电子印章中的应用,《微机发展》2004年 第11期一种安全实用的电子公文系统设计与实现, 《现代电子技术》2004年 第21期基于DSP的PCI图像采集卡设计,《现代电子技术》2004年 第4期基于DSP组建短波电台无线数据传输网络的系统设计,《电子设计应用》2004年 第2期基于直方图的自适应高斯噪声滤波器,《系统工程与电子技术》2004年 第1期短波电台无线数据传输网络的组建,《现代电子技术》2004年 第3期半抑制式模糊C-均值聚类算法,《中国体视学与图像分析》2004年 第2期基于模糊推理的自动多级图像分割,《中国体视学与图像分析》2004年 第1期航空影像中立交桥的自动检测,《中国体视学与图像分析》2004年 第1期网状被动传感器系统航迹初始状态估计,《信号处理》2004年 第6期被动传感器系统分层快速关联算法,《电子学报》2004年 第12期一种基于模糊运算的多目标多传感器跟踪算法,《系统工程与电子技术》2004年 第11期异步被动传感器系统模糊Hough变换航迹起始算法,《系统工程与电子技术》2004年 第11期窗户纹理的时频描述及其在建筑物提取中的应用,《中国图象图形学报:A辑》2004年 第10期基于模糊熵的支撑矢量预选取方法,《复旦学报:自然科学版》2004年 第5期基于物方几何约束提取建筑物垂直边缘,《中国图象图形学报:A辑》2004年 第9期分布式网状被动传感器系统定位误差分析,《西安电子科技大学学报》2004年 第5期分布式网状被动传感器系统量测数据关联,《系统工程与电子技术》2004年 第12期基于核方法的分类型属性数据集模糊聚类算法,《华南理工大学学报:自然科学版》2004年 第9期基于模糊决策的密集多回波环境下航迹起始算法,《雷达与对抗》2004年 第3期红外传感器阵列基于信息冗余性的目标定位,《系统工程与电子技术》2004年 第8期基于核方法的模糊聚类算法,《西安电子科技大学学报》2004年 第4期一种用于模式识别的多色Voronoi图,《系统工程与电子技术》2004年 第7期基于DSP的短波电台无线数据传输网络实现,《深圳大学学报:理工版》2004年 第3期基于直方图的自适应图像去噪滤波器,《电子学报》2004年 第7期自适应模糊Hough变换,《电子学报》2004年 第6期基于主动秘密共享的安全容忍入侵方案,《兰州交通大学学报》2004年 第1期基于模糊熵的多值图像恢复方法,《西安电子科技大学学报》2004年 第2期
运动目标检测与跟踪算法研究 视觉是人类感知自身周围复杂环境最直接有效的手段之一, 而在现实生活中 大量有意义的视觉信息都包含在运动中,人眼对运动的物体和目标也更敏感,能 够快速的发现运动目标, 并对目标的运动轨迹进行预测和描绘。 随着计算机技术、 通信技术、图像处理技术的不断发展,计算机视觉己成为目前的热点研究问题之 一。 而运动目标检测与跟踪是计算机视觉研究的核心课题之一, 融合了图像处理、 模式识别、人工智能、自动控制、计算机等众多领域的先进技术,在军事制导、 视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实 用价值和广阔的发展前景。 1、国内外研究现状 运动目标检测 运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。 根据运动目标与摄像机之间的关系, 运动目标检测分为静态背景下的运动目标检 测和动态背景下的运动目标检测。 静态背景下的运动目标检测是指摄像机在整个 监视过程中不发生移动; 动态背景下的运动目标检测是指摄像机在监视过程中发 生了移动,如平动、旋转或多自由度运动等。 静态背景 静态背景下的运动目标检测方法主要有以下几种: (1)背景差分法 背景差分法是目前最常用的一种目标检测方法, 其基本思想就是首先获得一个 背景模型,然后将当前帧与背景模型相减,如果像素差值大于某一阈值,则判断 此像素属于运动目标,否则属于背景图像。利用当前图像与背景图像的差分来检 测运动区域,一般能够提供比较完整的特征数据,但对于动态场景的变化,如光 照和外来无关事件的干扰等特别敏感。 很多研究人员目前都致力于开发不同的背 景模型,以减少动态场景变化对运动目标检测的影响。背景模型的建立与更新、 阴影的去除等对跟踪结果的好坏至关重要。 背景差分法的实现简单,在固定背景下能够完整地精确、快速地分割出运动 对象。不足之处是易受环境光线变化的影响,需要加入背景图像更新机制,且只 对背景已知的运动对象检测比较有效, 不适用于摄像头运动或者背景灰度变化很 大的情况。 (2)帧间差分法 帧间差分法是在连续的图像序列中两个或三个相邻帧间, 采用基于像素的时 间差分并阈值化来提取图像中的运动区域。 帧间差分法对动态环境具有较强的自 适应性,但一般不能完全提取出所有相关的特征像素点,在运动实体内部容易产 生空洞现象。因此在相邻帧间差分法的基础上提出了对称差分法,它是对图像序 列中每连续三帧图像进行对称差分,检测出目标的运动范围,同时利用上一帧分 割出来的模板对检测出来的目标运动范围进行修正, 从而能较好地检测出中间帧 运动目标的形状轮廓。 帧间差分法非常适合于动态变化的环境,因为它只对运动物体敏感。实际上 它只检测相对运动的物体,而且因两幅图像的时间间隔较短,差分图像受光线 变化影响小,检测有效而稳定。该算法简单、速度快,已得到广泛应用。虽然该 方法不能够完整地分割运动对象,只能检测出物体运动变化的区域,但所检测出 的物体运动信息仍可用于进一步的目标分割。 (3)光流法 光流法就充分的利用了图像自身所携带的信息。在空间中,运动可以用运动 场描述,而在一个图像平面上,物体的运动往往是通过图像序列中图像灰度分布 的不同来体现,从而使空间中的运动场转移到图像上就表示为光流场。所谓光流 是指空间中物体被观测面上的像素点运动产生的瞬时速度场, 包含了物体表面结 构和动态行为等重要信息。 基于光流法的运动目标检测采用了运动目标随时间变 化的光流特性,由于光流不仅包含了被观测物体的运动信息,还携带了物体运动 和景物三位结构的丰富信息。 在比较理想的情况下,它能够检测独立运动的对象, 不需要预先知道场景的任何信息,可以很精确地计算出运动物体的速度,并且可 用于动态场景的情况。 但是大多数光流方法的计算相当复杂,对硬件要求比较高, 不适于实时处理,而且对噪声比较敏感,抗噪性差。并且由于遮挡、多光源、透明 性及噪声等原因,使得光流场基本方程——灰度守恒的假设条件无法满足,不能 正确求出光流场,计算方也相当复杂,计算量巨大,不能满足实时的要求。 动态背景 动态背景下的运动目标检测由于存在着目标与摄像机之间复杂的相对运动, 检测方法要比静态背景下的运动目标检测方法复杂。常用的检测方法有匹配法、 光流法以及全局运动估计法等。 2、运动目标跟踪 运动目标跟踪是确定同一物体在图像序列的不同帧中的位置的过程。 近年来 出现了大批运动目标跟踪方法,许多文献对这些方法进行了分类介绍,可将目标 跟踪方法分为四类:基于区域的跟踪、基于特征的跟踪、基于活动轮廓的跟踪、 基于模型的跟踪,这种分类方法概括了目前大多数跟踪方法,下面用这种分类方 法对目前的跟踪方法进行概括介绍。 (1)基于区域的跟踪 基于区域的跟踪方法基本思想是: 首先通过图像分割或预先人为确定提取包 含目标区域的模板,并设定一个相似性度量,然后在序列图像中搜索目标,把度 量取极值时对应的区域作为对应帧中的目标区域。 由于提取的目标模板包含了较 完整的目标信息,该方法在目标未被遮挡时,跟踪精度非常高,跟踪非常稳定, 但通常比较耗时,特别是当目标区域较大时,因此一般应用于跟踪较小的目标或 对比度较差的目标。该方法还可以和多种预测算法结合使用,如卡尔曼预测、粒 子预测等,以估计每帧图像中目标的位置。近年来,对基于区域的跟踪方法关注 较多的是如何处理运动目标姿态变化引起的模板变化时的情况以及目标被严重 遮挡时的情况。 (2)基于特征的跟踪 基于特征的跟踪方法基本思想是:首先提取目标的某个或某些局部特征,然 后利用某种匹配算法在图像序列中进行特征匹配,从而实现对目标的跟踪。该方 法的优点是即使目标部分被遮挡,只要还有一部分特征可以被看到,就可以完成 跟踪任务,另外,该方法还可与卡尔曼滤波器结合使用,实时性较好,因此常用 于复杂场景下对运动目标的实时、 鲁棒跟踪。 用于跟踪的特征很多, 如角点边缘、 形状、纹理、颜色等,如何从众多的特征中选取最具区分性、最稳定的特征是基 于特征的跟踪方法的关键和难点所在。 (3)基于活动轮廓的跟踪 基于活动轮廓的跟踪方法基本思想是:利用封闭的曲线轮廓表达运动目标, 结合图像特征、曲线轮廓构造能量函数,通过求解极小化能量实现曲线轮廓的自 动连续更新,从而实现对目标的跟踪。自Kass在1987年提出Snake模型以来,基 于活动轮廓的方法就开始广泛应用于目标跟踪领域。相对于基于区域的跟踪方 法,轮廓表达有减少复杂度的优点,而且在目标被部分遮挡的情况下也能连续的 进行跟踪,但是该方法的跟踪结果受初始化影响较大,对噪声也较为敏感。 (4)基于模型的跟踪 基于模型的跟踪方法基本思想是: 首先通过一定的先验知识对所跟踪目标建 立模型,然后通过匹配跟踪目标,并进行模型的实时更新。通常利用测量、CAD 工具和计算机视觉技术建立模型。主要有三种形式的模型,即线图模型、二维轮 廓模型和三维立体模型口61,应用较多的是运动目标的三维立体模型,尤其是对 刚体目标如汽车的跟踪。该方法的优点是可以精确分析目标的运动轨迹,即使在 目标姿态变化和部分遮挡的情况下也能够可靠的跟踪, 但跟踪精度取决于模型的 精度,而在现实生活中要获得所有运动目标的精确模型是非常困难的。 目标检测算法,至今已提出了数千种各种类型的算法,而且每年都有上百篇相 关的研究论文或报告发表。尽管人们在目标检测或图像分割等方面做了许多研 究,现己提出的分割算法大都是针对具体问题的,并没有一种适合于所有情况的 通用算法。 目前, 比较经典的运动目标检测算法有: 双帧差分法、 三帧差分法(对 称差分法)、背景差法、光流法等方法,这些方法之间并不是完全独立,而是可 以相互交融的。 目标跟踪的主要目的就是要建立目标运动的时域模型, 其算法的优劣直接影响 着运动目标跟踪的稳定性和精确度, 虽然对运动目标跟踪理论的研究已经进行了 很多年,但至今它仍然是计算机视觉等领域的研究热点问题之一。研究一种鲁棒 性好、精确、高性能的运动目标跟踪方法依然是该研究领域所面临的一个巨大挑 战。基于此目的,系统必须对每个独立的目标进行持续的跟踪。为了实现对复杂 环境中运动目标快速、稳定的跟踪,人们提出了众多算法,但先前的许多算法都 是针对刚体目标,或是将形变较小的非刚体近似为刚体目标进行跟踪,因而这些 算法难以实现对形状变化较大的非刚体目标的正确跟踪。 根据跟踪算法所用的预 测技术来划分,目前主要的跟踪算法有:基于均值漂移的方法、基于遗传算法的 方法、基于Kalman滤波器的方法、基于Monto Carlo的方法以及多假设跟踪的方 法等。 运动检测与目标跟踪算法模块 运动检测与目标跟踪算法模块 与目标跟踪 一、运动检测算法 1.算法效果 算法效果总体来说,对比度高的视频检测效果要优于对比度低的视频。 算法可以比较好地去除目标周围的浅影子,浅影的去除率在 80%以上。去影后目标的 完整性可以得到较好的保持,在 80%以上。在对比度比较高的环境中可以准确地识别较大 的滞留物或盗移物。 从对目标的检测率上来说,对小目标较难进行检测。一般目标小于 40 个像素就会被漏 掉。对于对比度不高的目标会检测不完整。总体上来说,算法在对比度较高的环境中漏检率 都较低,在 以下,在对比度不高或有小目标的场景下漏检率在 6%以下。 精细运动检测的目的是在较理想的环境下尽量精确地提取目标的轮廓和区域, 以供高层 进行应用。同时在分离距离较近目标和进行其它信息的进一步判断也具有一定的优势。 反映算法优缺点的详细效果如下所示: 去影子和完整性 效果好 公司内视频 左边的为去影前,右边的 为去影后的结果,可以看出在 完整 性和去影率上 都有所 突 出。 这两个视频的共周特点 城市交通 是,影子都是浅影子,视频噪 声不太明显。目标与背景的对 比度比较高。 效果差 这两个视频的特点是影子 都是深影子。虽然影子没有去 掉,但是物体的完整性是比较 高的。主要原因就是场景的对 路口,上午 十点 比度比较高。 滞留物检测和稳定性 效果好 会议室盗移 效果好的原因,一是盗移或 滞留目标与背景对比度较大,二 是目标本身尺寸较大。 另外盗移物或滞留物在保持 各自的状态期间不能受到光照变 化或其它明显运动目标的干扰, 要不然有可能会造成判断的不稳 定。 效果差 会议室 遗留 物 大部分时间内,滞留的判断 都是较稳定的,但是在后期出现 了不稳定。主要原因是目标太小 的原故。 因此在进行滞留物判断时, 大目标,对比度较高的环境有利 于判断的稳定性和准确性。 漏检率 效果好 城市交通 在对比度高的环境下, 目标相对都较大的情况下 (大于 40 个像素) 可以很 , 稳定的检测出目标。 在这种 条件下的漏检率通常都是 非常低的,在 以下。 效果差 行人-傍晚 和“行人”目录下 的 其 它 昏 暗 条件 下的视频 在对 比度较低的 情况 下,会造成检测结果不稳 定。漏检率较高。主要原因 是由于去影子造成的。 这种 对比度下的漏检率一般在 6%以下。 除了 对比度低是 造成 漏检的原因外, 过小的目标 也会造成漏检,一般是 40 个像素以下的目标都会被 忽略掉。 算法效率内存消耗(单位:b) .MD_ISRAM_data .MD_ISRAM_bss .MD_SDRAM_data 0x470 0x24 0x348 .MD_SDRAM_bss .MD_text 0x1a8480 0x6d40 速度 ms 运动区域占 2/3 左右时 CPU 占用率 一帧耗时 Max:57% Min: Avg: Max:23 Min: Avg:15 运动区域占 1/3 左右时 Max:45% Min: Avg:20% Max:18 Min: Avg:8 检测参数说明 检测参数说明 检测到的滞留物或盗走物的消失时间目前分别设定在 200 帧和 100 帧, 可以通过参数来 自行调整。 目前目标与背景的差异是根据局部光照强度所决定的, 范围在 4 个像素值以上。 目前参 数设置要求目标大小要在 20 个像素以上才能被检测到,可以通过参数来自行调整。 目标阴影的去除能力是可以调整的, 目前的参数设置可以去除大部分的浅影子和较小的 光照变化。 适用环境推荐光照条件较好(具有一定的对比度)的室内环境或室外环境。不易用它去检测过小的目 标,比如小于 40 个像素的目标。室外环境不易太复杂。输出目标为精细轮廓目标,可以为 后面高层应用提供良好的信息。 二、目标跟踪 稳定运行环境要求此版本跟踪算法与运动检测算法紧密结合, 对相机的架设和视频的背景环境和运动目标 数量运动方式有一定要求: 背景要求: 由于运动跟踪是基于运动检测的结果进行的, 所以对背景的要求和运动检测一样, 背景要求: 运动目标相对于背景要有一定反差。 运动目标:由于运动检测中,对较小的目标可能过滤掉。所以运动目标的大小要符合运动检 运动目标: 测的要求。运动目标的速度不能太大,要保证前后帧运动目标的重合面积大于 10 个像素。此阈值可修改(建议不要随意修改,过小,可能把碎片当成原目标分 裂出来的小目标,过大,可能失去跟踪。当然可试着调节以适应不同场景)。该 算法对由于运动检测在地面上产生的碎片抗干扰性比较差, 运动目标和碎片相遇 时,容易发生融合又分离的现象,造成轨迹混乱。消失目标和新生目标很容易当 成同一目标处理,所以可能出现一个新目标继承新生目标的轨迹。 运动方式: 运动目标的最大数量由外部设定。 但运动跟踪对运动目标比较稀疏的场景效果比 运动方式: 较好。 算法对由于运动检测在运动目标上产生的碎片有一定的抗干扰。 算法没对 物体的遮挡进行处理。对于两运动目标之间的遮挡按融合来处理。 拍摄角度: 拍摄角度:拍摄视野比较大,且最好是俯视拍摄。
能不能给我发一份呢?
论文名称:Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间:2014年 论文地址: 针对问题: 从Alexnet提出后,作者等人思考如何利用卷积网络来完成检测任务,即输入一张图,实现图上目标的定位(目标在哪)和分类(目标是什么)两个目标,并最终完成了RCNN网络模型。 创新点: RCNN提出时,检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢,作者采用的是Selective Search候选区域提取算法,来获得当前输入图上可能包含目标的不同图像块,再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客: 。 论文题目:OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间:2014年 论文地址: 针对问题: 该论文讨论了,CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后,在网络后端组织两组卷积或全连接层,一组用于实现定位,输出当前图像上目标的最小外接矩形框坐标,一组用于分类,输出当前图像上目标的类别信息。也是以此为起点,检测网络出现基础主干网络(backbone)+分类头或回归头(定位头)的网络设计模式雏形。 创新点: 在这篇论文中还有两个比较有意思的点,一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的,而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制,那用1x1卷积来替换FC层,是否可行呢?作者在测试时通过将全连接层替换为1x1卷积核证明是可行的;二是提出了offset max-pooling,也就是对池化层输入特征不能整除的情况,通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练,然后切换分类头为回归头,再训练回归头的参数,最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客: 论文题目:Scalable Object Detection using Deep Neural Networks 提出时间:2014年 论文地址: 针对问题: 既然CNN网络提取的特征可以直接用于检测任务(定位+分类),作者就尝试将目标框(可能包含目标的最小外包矩形框)提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点: 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心,(800个anchor box)然后学习预测不考虑目标类别的二分类网络,背景or前景。用到了多尺度下的检测。 参考博客: 论文题目:DeepBox: Learning Objectness with Convolutional Networks 提出时间:2015年ICCV 论文地址: 主要针对的问题: 本文完成的工作与第三篇类似,都是对目标框提取算法的优化方案,区别是本文首先采用自底而上的方案来提取图像上的疑似目标框,然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序;而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点: 本文作者想通过CNN学习输入图像的特征,从而实现对输入网络目标框是否为真实目标的情况进行计算,量化每个输入框的包含目标的可能性值。 参考博客: 论文题目:AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间:2015年ICCV 论文地址: 主要针对的问题: 对检测网络的实现方案进行思考,之前的执行策略是,先确定输入图像中可能包含目标位置的矩形框,再对每个矩形框进行分类和回归从而确定目标的准确位置,参考RCNN。那么能否直接利用回归的思路从图像的四个角点,逐渐得到目标的最小外接矩形框和类别呢? 创新点: 通过从图像的四个角点,逐步迭代的方式,每次计算一个缩小的方向,并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客: 论文题目:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间:2014年 论文地址: 针对问题: 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络,在处理过程中就造成了图像块信息的损失。在实际的场景中,输入网络的目标尺寸很难统一,而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点: 作者提出的SPPnet中,通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸,在训练的时候,池化的操作还是通过滑动窗口完成的,池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 : 论文题目:Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间:2015年 论文地址: 针对问题: 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位,本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点: 作者通过对输入网络的region进行一定的处理(通过数据增强,使得网络利用目标周围的上下文信息得到更精准的目标框)来增加网络对目标回归框的精度。具体的处理方式包括:扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置,使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性,从而提高了回归框的精度。 参考博客 : 论文题目:Fast-RCNN 提出时间:2015年 论文地址: 针对问题: RCNN中的CNN每输入一个图像块就要执行一次前向计算,这显然是非常耗时的,那么如何优化这部分呢? 创新点: 作者参考了SPPNet(第六篇论文),在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸,从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图,再将原图上用Selective Search算法得到的目标框映射到特征图上,避免了特征的重复提取。 参考博客 : 论文题目:DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间:2015年 论文地址: 主要针对的问题: 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文,作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点: 作者在不同的激活层上以滑动窗口的方式生成了假设,并表明最终的卷积层可以以较高的查全率找到感兴趣的对象,但是由于特征图的粗糙性,定位性很差。相反,网络的第一层可以更好地定位感兴趣的对象,但召回率降低。 论文题目:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间:2015年NIPS 论文地址: 主要针对的问题: 由multibox(第三篇)和DeepBox(第四篇)等论文,我们知道,用CNN可以生成目标待检测框,并判定当前框为目标的概率,那能否将该模型整合到目标检测的模型中,从而实现真正输入端为图像,输出为最终检测结果的,全部依赖CNN完成的检测系统呢? 创新点: 将当前输入图目标框提取整合到了检测网络中,依赖一个小的目标框提取网络RPN来替代Selective Search算法,从而实现真正的端到端检测算法。 参考博客 :
篮球教育对青少年的影响
篮球教会我的不只是篮球NBA教会我的不只是篮球阐述篮球带来的快乐。。最主要的是篮球的某种精神例如:有个镜头我永远都忘不了2001年总决赛第三场球完了后,小艾和科比在快进更衣室门口相遇,当时小艾的眼神足以杀死人,科比抬着高傲的头颅看都不看小艾一眼,小艾主动上去和科比握手,科比装作没看见,头也不回地走了,那一刻小艾显得多么无奈。—— 从那一刻起,科比已经输了,不是输在球技上,而是输在做人上. 。科比可以拿着三枚总冠军戒指 81分记录向小艾炫耀, 但是,小艾的精神境界是科比一世都无法企及的。他教会我一件事:“只要认为是对的,即便是对抗全世界,不要被那些舆论所影响、击倒,要有勇气战斗下去。他教会我只要坚持做自己,即便是被人认为是「叛逆」,也要战斗下去。你说他是我的神也好,佛也好,我服膺的是他这种精神,这是一种信仰。有个人站在你面前,他就是这麼做著,他始终忠於他的信念。所谓「武士精神」,亦不过如此,而这正是我所信奉的。我看NBA十多年,不曾带给我这种感动。这种「我要打十个」的气魄,不是只有「英雄主义」而已,而是战斗到底的决心。那些酸AI的人们,他们不懂,因为他们不会、也不敢有这种体验,他们更不会了解,许许多多喜欢.的人,到底为什麼喜欢他?这不是靠长得帅就可以得到的拥护。”2004年 一个18岁的男孩(凯文 约翰逊)在街上被一群16-20岁的人围住 抢劫 他们抢走凯文身上财务 然后命令凯文脱掉身上穿的艾弗森3号球衣 凯文誓死不从紧紧保护着球衣不让他们抢走 那群歹徒拿出手枪 凯文依旧不让他们把艾的球衣从身上抢走 一声枪响 凯文被后面一个歹徒击中脖子 球衣还是让那伙歹徒抢走 两年过去 一天报纸披露 一个孩子的妈妈让医院使用安乐死 结束她孩子的生命 那个孩子就凯文约翰逊 就这样 这件事被媒体报道出来 艾弗森也知道这件事 他很震惊 他亲自去那座医院 随后艾给凯文安排葬礼 后来凯文母亲说 凯文下葬的时候是穿着艾弗森送的崭新球衣入土的 别人问 你儿子这样做不值得 凯文妈妈说 这是我儿子的选择 你们不知道凯文多么爱艾弗森 我不反对我儿子去追艾弗森 在艾弗森身上 我儿子学到的比我们教的更多
毕业论文;课题名称;姓名号所在系;专业年级指导教师称;二O一二年五月十八日;汽车转向系故障的分析与检修;【摘要】转向系是汽车行驶的指南针,它的好坏关系着;行了诊断分析和检修;【关键词】轿车,转向器,故障分析,检查维修;引言;汽车发展的趋势是安全、节能、环保;分析;由转向油泵、转向油管、转向油罐以及位于整体式转向;1.汽车动力转向系的工作原理;(1)当汽车直线毕 业 论 文课题名称姓 名 号 所在系专业年级 指导教师 称二O一二年五月十八日汽车转向系故障的分析与检修【摘要】转向系是汽车行驶的指南针,它的好坏关系着汽车能否安全行驶。本文首先讲述了汽车动力转向系的整体结构;具体介绍了它的功用;分类和工作原理。然后具体对轿车动力转向系统常见的几种故障:一转向沉重,二转向时有噪声,三方向盘自由行程过大,四左右转向时轻重不一,五转向时转向盘强烈抖动,六汽车直线行驶时,转向盘发飘或跑偏。最后讲述了轿车动力转向系中转向盘的自由行程,转向储液罐的液面高度,液压泵的泵送压力,液压系统的密封性,转向柱的检查方法以及通过轿车动力转向系的故障现象进行了诊断分析和检修。对使用和维护汽车有着很现实。【关键词】 轿车, 转向器,故障分析 ,检查维修引言汽车发展的趋势是安全、节能、环保。转向系统是关系主动安全的重要系统,其操纵稳定性好坏对汽车性能影响很大。操纵性是汽车准确跟踪驾驶员意图行驶;稳定性是要求危险工况(高速行驶,侧向加速度大,离心力大,超过轮胎侧偏力而发生大的侧滑;小附着系数路面的侧滑;对开路面上轮胎左右侧偏力不相等、侧向风引起的横摆)下汽车仍稳定行驶。为提高操纵稳定性,出现了ESP(电子稳定程序)、主动转向、4WS(4轮转向)等。ESP判断产生不足转向或过度转向时相应在后轮、前轮产生制动力,产生横摆力矩即纠偏力矩。四轮转向的后轮也参与转向。低速时,后轮与前轮反向转向,减小转弯半径,提高机动灵活性。高速时,后轮与前轮同向转向,提高汽车的稳定性。其控制目标是质心侧偏角为零。然而这些汽车转向系统却处于机械传动阶段,由于其转向传动比固定,汽车的转向响应特性随车速而变化。因此驾驶员就必须提前针对汽车转向特性的幅值和相位变化进行一定的操作补偿,从而控制汽车按其意愿行驶。如果能够将驾驶员的转向操作与转向车轮之间通过信号及控制器连接起来,驾驶员的转向操作仅仅是向车辆输入自己的驾驶指令,由控制器根据驾驶员指令、当前车辆状态和路状况确定合理的前轮转角,从而实现转向系统的智能控制,必将对车辆操纵稳定性带来很大的提高,降低驾驶员的操纵负担,改善人一车闭环系统性能。分析由转向油泵、转向油管、转向油罐以及位于整体式转向器内部的转向控制阀及转向动力缸等组成。当驾驶员转动转向盘时,转向摇臂摆动,通过转向直拉杆、横拉杆、转向节臂,使转向轮偏转,从而改变汽车的行驶方向。同时,转向器输入轴还带动转向器内部的转向控制阀转动,使转向动力缸产生液压作用力,帮助驾驶员转向操纵。这样,为了克服地面作用于转向轮上的转向阻力矩,驾驶员需要加于转向盘上的转向力矩,比用机械转向系统时所需的转向力矩小得多。1.汽车动力转向系的工作原理(1)当汽车直线行驶时:转阀处于中间位置,来自转向油泵的工作液从转向器壳体的进油口流到阀体的中油环槽中。经过其槽底的通孔进入阀体和转阀之间,此时因转阀处于中间位置,所以进入的油液分别通过阀体和转阀纵槽槽肩形成的两边相等的间隙,再通过转阀的纵槽和阀体的纵槽以及阀体的径向孔流向阀体外圆上、下油环槽,然后通过壳体中的两条油道分别流到动力缸的上、下腔中去,即左转向动力腔l和右转向动力腔r,但上、下腔油压相等且很小。此时齿条-活塞既没有受到转向螺杆所造成的轴向推力,也没有受到上、下腔因压力差造成的轴向推力,所以齿条-活塞处于中间位置,动力转向不工作。流入阀体内腔的油液在通过转阀纵槽流向阀体上、下油环槽的同时,通过转阀槽肩上的径向油孔流到转阀与扭杆轴组件之间的空隙中,经阀体组件和调整螺塞之间的空隙流到回油口,经油管回到油罐中去,形成了常流式油液循环。(2)当汽车左转弯时:转动转向盘,使短轴逆时针转动,通过其下端轴销子带动转阀同步转动,这个扭矩也通过具有弹性的扭杆轴传给下端轴盖,下端轴盖边缘上的缺口通过固定在阀体上的销子带动阀体转动,阀体通过其下端缺口和销子,把转向力矩传给螺杆。由于转向阻力的存在,要有足够的转向力矩才能使转向螺杆转动。这个扭矩促使扭杆轴发生弹性扭转,造成阀体的转动角度小于转阀的转动角度,两者产生相对角位移。通下动力腔的进油缝隙减小(或封闭),回油缝隙增大油压降低;通上动力腔的进油缝隙增大而回油缝隙减小(或关闭),油压升高,上、下动力腔产生油压差。齿条-活塞便在上、下腔油压差的作用下移动,产生助力作用。此时来自转向油泵的压力油通过槽隙流向动力缸上腔,动力缸下腔的油则通过阀体径向孔、槽隙、转阀径向孔和回油口流向储油罐。(3)右转弯基本相似。不同的是由于转向方向相反,造成的阀体和转阀的角位移相反,齿条-活塞下腔压力升高而上腔油压降低,产生右转向助力。(4)当转向盘停在某一位置不再继续转动时:此时阀体随螺杆在液力和扭杆轴弹力的作用下,沿转向盘转动方向旋转一个角度,使之与转阀相对角位移量减小,上、下动力腔油压差减小。但仍有一定的助力作用,此时的助力扭矩与车轮的回正力矩相平衡,使车轮维持在某一转向位置上。(5)渐进随动原理:在转向过程中,若转向盘转动的速度快,阀体与转阀相对的角位移量也大,上、下动力腔的油压差也相应加大,前轮偏转的速度也加快,如转向盘转动的慢,前轮偏转的也慢;若转向盘转在某一位置上不变,对应着前轮也转在某一位置上不变。此即谓“渐进随动原理”,也就是:“快转快助,大转大助,不转不助”原理。(6)转向后需回正时,如果驾驶员放松转向盘,转阀回到中间位置,失去了助力作用,此时转向轮在回正力矩的作用下自动回位;若司机同时回转转向盘时,转向助力器助力,帮助车轮回正。(7)当汽车直线行驶偶遇外界阻力使转向轮发生偏转时:阻力矩通过转向传动机构、转向螺杆、螺杆与阀体的锁定销作用在阀体上,使之与转阀之间产生相对角位移,这样使动力缸上、下腔油压不等,产生了与转向轮转向相反的助力作用。在此力的作用下,转向轮迅速回正,保证了汽车直线行驶的稳定性。一旦液压助力装置失效,该动力转向器即变成机械转向器。此时转动转向盘,带动短轴转动,短轴下端法兰盘边缘有弧形缺口,转过一定角度后,通过螺杆上端法兰盘的凸块带动螺杆旋转,以保证汽车转向。不过这时转向盘的自由行程加大,转向沉重。 2 轿车动力转向系故障诊断分析本章讲述了汽车常见的几种故障并对其进行了诊断分析。一转向沉重,二转向时有噪声,三方向盘自由行程过大,四左右转向时轻重不一,五转向时转向盘强烈抖动,六汽车直线行驶时,转向盘发飘或跑偏。转向沉重 故障现象可变液压动力转向的汽车,本来转向是很轻便的,突然感到转向沉重或方向盘转不动。故障原因油箱缺油或油液高度不足。系统中混入大量空气。油箱滤网堵塞或管路堵塞。液压泵磨损,内部泄漏或驱动部分打滑、磨坏。助力器内溢油阀、安全阀机件磨损,弹簧过软或调整不当。助力器内滑阀与滑壁间隙过大或关闭不严。系统各接头、衬垫处密封不良,产生液压油外漏;系统内部密封元件损坏产生内漏。故障诊断与排除检查液压泵驱动部分的工作情况。检查驱动皮带是否打滑或其他驱动形式的齿轮传动等有无损坏。检查油箱内的油面高度,看其是否达到规定的高度。如油面过低,应予以加足,使油面达到油尺上的高度标记。检查油箱内的滤清器是否堵塞或损坏,如果堵塞,应进行清洗;如果损坏,应予以更换。检查系统中是否混有空气。如果发现液压油中有泡沫(或液压油混浊),就可能是油路中有空气(通常通过观察回油管回油时是否夹带有气泡来判定)。空气的进入通常是液压泵的进油管裂损、接头松动以及液压泵轴上的密封环损坏等所致。如出现上述损坏,均应先给予维修,然后再排除系统中的空气。检查液压泵流量及溢油阀、安全阀的作用是否良好。可用压力表接在管路上检查,如果作用不良,应将阀及弹簧卸下,进行清洗和检查,必要时更换新件。检查控制阀内的滑阀,看其作用是否良好。如因间隙过大或关闭不严,应更换新的转向螺杆及滑阀。检查助力活塞上的密封环和阀室体径向环槽的中间密封作用是否良好,必要时应予更换,同时还要检查液压缸表面有无损伤。检查单向阀的球阀与阀座的接触是否严密。如因脏物垫起而关闭不严,应进行清洗,如因阀本身引起的关闭不严,必须更换新件。 转向时有噪声故障现象转向时液压泵处发生响声。 故障原因液压泵驱动部分发响,如皮带过松、驱动齿轮传动件损坏等。液压油量不足、系统中混有空气。油箱滤芯堵塞或损坏。各管路接头松动或油管破裂、堵塞。故障诊断与排除先检查油箱内的油面高度,若油面过低应补足液压油。检查驱动部分的工作情况,检查皮带是否过松、驱动齿轮及其他部件是否损坏,若不正常应按规定要求给予调整、修复。检查回油管的回油情况,观察液压油中是否夹带有气泡(油液呈混浊状) 之处,如有气泡,应先查出漏气,然后再排除空气。检查油箱滤芯以及油路各处有无堵塞、损坏,若有均应将其修复。方向盘自由行程过大故障现象转动方向盘发现自由行程过大。故障原因转向纵拉杆两端的球头销与销座的间隙过大。齿条与齿扇的间隙过大。转向螺杆和转向螺母与钢球之间的间隙过大。故障诊断与排除应逐一检查上述间隙是否过大,并采取相应的措施 。左右转向时轻重不一故障现象汽车在行驶中左右转弯时,左右转动方向盘感到轻重不同。故障原因控制阀中的滑阀偏离中间位置,或虽在中间位置但与阀体台肩的缝隙大小不一致。 滑阀或阀体台肩处有毛刺、碰伤或有脏物阻滞,使液压油循环受阻致使加力不平衡。 动力缸一侧有空气,造成活塞两侧压力差过大,致使左、右向轻重不同。故障诊断与排除
车检测与维修的毕业论文范文第一部分 摘要:随着电子技术在汽车上的普遍应用,汽车电路图已成为汽车维修人员必备的技术资料。目前,大部分汽车都装备有较多的电子控制装置,其技术含量高,电路复杂,让人难以掌握。正确识读汽车电路图,也需要一定的技巧。电路图是了解汽车上种类电气系统工作时使用的重要资料,了解汽车电路的类型及特点,各车系的电路特点及表达方式,各系统电路图的识读方法、规律与技巧,指导读者如何正确识读、使用电路图有很重要的作用。 汽车电路实行单线制的并联电路,这是从总体上看的,在局部电路仍然有串联、并联与混联电路。全车电路其实都是由各种电路叠加而成的,每种电路都可以独立分列出来,化复杂为简单。全车电路按照基本用途可以划分为灯光、信号、仪表、启动、点火、充电、辅助等电路。每条电路有自己的负载导线与控制开关或保险丝盒相连接。
给高分给你发一份论文
利用尾气分析发动机的故障有一辆1995年生产的尼桑蓝鸟轿车,故障现象是冷车时挂挡后踩油门有轻微的冲击,怠速不良,做过许多检查和修理,始终不能解决问题。该车最初进厂修理是因为冲洗发动机后不能着车,拖进厂后检查发现点火系统进水,进行请洁干燥之后重新装复,车虽然着了,但是怠速有些不稳。经过检查发现高压线有漏电现象,分火头和分电器盖也有些烧蚀。征得用户同意后对上述部件进行了更换,发动机故障基本排除,但用户反映车不好用,冷车挂档后踩油门有轻微的冲击。虽然故障现象非常不明显,但用户执意要求检修,并声称如果问题不能解决,就要把前面的修理费用免掉。我接到这辆车时正是热车,由于一时不能验证故障现象,便先根据用户描述的情况进行分析,认为故障可能出在油路上。随后在热车状态下进行无负荷测试尾气,测试结果如下:怠速时HC为275ppm(标准值为220ppm),CO为%(标准值为%);高怠速时HC为120—150ppm,CO为%一%(该厂仅有一台两气废气分析仪)。测量气缸压力,各缸压力正常。进行气缸功率平衡测试,各缸工作都正常。进行断缸测试,各缸HC和CO值变化都一样。从上面的数据当中是否可以发现问题呢7当然可以。尽管两气尾气分析仪本身没有数据分析和混合比浓度测试的功能(一般四气尾气分析仪可以通过CO,、O2以及过量空气系数入直接看出混合比浓度),但通过数据可以看出,这辆车的尾气排放偏低,对于没有安装氧传感器和三元催化器的车辆来说是太低了。CO含量高一般是因为混合比偏浓,而CO含量太低的一个主要原因是混合比偏稀。根据这个思路,我将该车的尾气调高,将CO调到,HC调到200ppm。当车完全冷却后再次进行检测,尾气排放没有超标,原来的故障现象也彻底消失了。各系统故障的方法,其目的是对发动机的燃烧状况进行综合评价。尾气分析的主要内容有混合气空燃比、点火正时及催化转化器转化效率等,主要的分析参数有CO、HC、CO2,和O2等的含量,还有空燃比(A/F)或过量空气系数入。尾气分析的项目如表1所示。二、尾气分析的基本规则HC和O2的读数高,是由点火系统不良或混合气过稀失火引起的。当测试的CO、HC值高,而C02、02值低时,表明发动机工作混合气很浓。如果燃烧室中没有足够的氧气保证正常燃烧,通常情况下,CO2的读数和CO的读数相反。燃烧越完全,CO2的读数就越高,其最大值在%—%之间,此时CO的读数应该等于或接近于的读数是最有用的诊断数据之—,02的读数和其它3个读数一起,能帮助找出故障诊断的难点。通常,装有催化转化器的汽车,O2的读数应该是%—%,说明发动机燃烧很好,只有少量未燃烧的02通过气缸排出。如果02的读数小于%,则说明混合气太浓,不利于燃烧。如果02的读数超过2%,则说明混合气太稀。利用功率平衡试验(根据制造厂的使用说明)和四气尾气分析仪的读数,可以看出每个缸的工作状况。如果每个缸C0和C02的读数都下降,HC和C02的读数都上升,且上升和下降的量都一样,则证明每个缸都工作正常。如果只有一个缸的变化很小,其它缸都一样,则表明这个缸点火或燃烧不正常。一个调整好的闭环控制电控汽车的尾气排放中,HC的含量大约为55~100ppm,CO应低于%,O2为%~%,C02为%~%。汽车尾气测试值与系统故障的判断分析如表2所示。三、几种常见的气分析仪汽车尾气分析仪有两气、四气和五气等多种类型,下面分别进行介绍。两气尾气分析仪两气尾气分析仪是用来测量汽车尾气排放中C0和HC的体积分数的。但是,如果一辆车的排气管或尾气分析仪的测量管路有泄漏,那么所检测到的就是被外部空气稀释了的尾气,C0和HC的测量值将降低,自然就不能反映尾气的真实含量。目前国内所用的两气尾气分析仪大多都不具有检查自身泄漏的功能,因此即使用两气尾气分析仪测量车辆尾气,也不能真实地反映出发动机的故障来。2.四气尾气分析仪随着装有三元催化转化器和电子控制系统汽车的增多,汽车的排放标准也更加严格,因此需要更精确地测量尾气并诊断车辆排放超标的原因。四气尾气分析仪不仅具备两气尾气分析仪的所有功能,而且还能进行故障诊断和分析,它除了能测量C0和HC外,还能测量C02和02、发动机油温、转速等,以及计算过量空气系数入和空燃比A/F等。所以四气尾气分析仪不仅可作为环保检测仪器使用,作为发动机故障检测分析的诊断工具也非常有用。对于几种尾气的分析,前面我们已经做过阐述,在这里只对过星空气系数入进行简要的说明。过星空气系数入可以直观地告诉我们空燃比的情况,从理论上讲,混合气的过星空气系数入=1最为标准,但实际上不可能没有变化,所以一般情况下入被设计为—(有些车有具体说明),可以看成是理想的匹配。若入大于该值,说明空燃比过大,混合气过稀;若入小于该值,则为空燃比过小,混合气过浓。四气尾气分析仪还可提供发动机转速(RPM)和发动机温度(TEMP)参数,作为故障诊断时的参考数据o五气尾气分析仪当C0和HC降低时,可能会引起尾气中的N0x浓度升高,若要监测N0x的浓度,就得使用五气尾气分析仪。而且,N0x常常是在高温大负荷的情况下产生的,若没有底盘测功机,就只能靠路试去测量。四、几个应用实例一辆捷达轿车,装备ATK新2气门发动机,配有三元催化转换器。用户反映该车发动机工作不稳,测量尾气排放严重超标。捷达新2气门ATK发动机采用电子控制多点顺序燃油喷射管理系统,该系统是一个集喷油、点火、怠速、爆震、空调、自我诊断及陂行回家等功能于一体的闭环集中控制系统。根据该车故障现象,首先检查火花塞,发现火花塞间隙偏大,更换新件后,尾气排放情况略有好转,但未得到明显改善。连接故障诊断仪V.A.G1552对发动机电控系统进行检测,调出1个故障码(氧传感器)。按故障码的提示,检查氧传感器至发动机电脑的连接线束,未发现短路、断路情况,于是将氧传感器更换。随后试车,继续测量尾气,尾气排放指标依然偏高,但发动机电控系统已无故障显示。用燃油压力表测量喷射系统压力,发动机怠速时油压为250kPa,急加速时为300kPa;关闭点火开关10min后,系统保持压力为200kPa,以上各项数据均正常。接下来拆下喷油嘴进行超声波清洗,测量其电阻值为15Ω,也符合标准。连接压力机,观察喷油嘴雾化状态良好,检查喷油嘴连接线束,也无短路、断路情况。继续检查点火系统,用万用表测量点火线圈、高压线电阻均正常。将发动机恢复后试车,故障依旧。用V.A.G1552查寻故障存储,仍没有故障码出现。在读取测量数据时,观察到氧传感器信号电压在—之间变动,属正常;进气压力传感器的数据也符合标准。于是怀疑三元催化转换器有问题,将其更换后试车,尾气排放依然超标。检查配气相位,正时标记正确;怀疑汽油质量有问题,清洗油箱及管路并更换优质汽油后,情况丝毫不见好转。经仔细观察发现:如果起动发动机后怠速运转而不进行路试,尾气排放基本合格;路试约2km后尾气排放指标升高;若每次起动间隔时间超过30min,怠速测量基本合格。根据上述情况,决定更换发动机电脑,但将电脑更换了也无济于事。其它部分是否存在问题呢?于是抱着试试看的想法,拆下排气歧管进行检查,并与新的排气歧管进行比较,发现该车氧传感器的排气取样孔偏小。换上新的排气歧管进行尾气检测,各项指标显著降低。对该车进行路试,尾气排放依然合格。恢复该车所换的其它配件,继续试车,尾气排放始终未超标。由此可以断定,故障部位就在氧传感器排气取样孔。由于从气缸内排出的废气处于高速流动状态,行至氧传感器取样孔处时形成涡流,导致排出的废气不能及时在此处更新,使氧传感器不能准确地向发动机电脑反馈同步信号,造成发动机电脑不能根据实际工况对喷油脉宽进行正确修正,最终出现发动机工作异常,尾气排放严重超标的故障。有一个时期,曾有一批车出现过此类故障,都是由于进行尾气改造后,氧传感器取样孔打得不合适,导致氧传感器不能有效采集尾气,造成信号失准。一辆装备5S—FE发动机的丰田佳美轿车,发动机怠速不稳,经常熄火。该车采用TCCS发动机电子控制系统。首先调取故障代码,仪表板上的发动机故障指示灯显示为正常代码。用四气尾气分析仪进行检测,仪器显示的检测结果如表3所示。由检测结果可以看出:HC和02都较高,这是空燃比失衡的一个重要特征;C0值较低,而C02在峰值,这说明可燃混合气已充分燃烧,点火系统应该不会有什么问题;入值较高。综合分析表明,该发动机工作时的混合气偏稀,因此应从进气系统和供油系统着手进行故障检查。对车辆进行检测:真空管无漏气、错插现象;PCV阀密封良好,机油尺插口良好。起动发动机,将化油器清洗剂喷在进气管垫和EGR阀周围,发现随着转速上升,怠速逐渐稳定。取下EGR阀,发现针阀周围有少量积碳,EGR阀通道上有很多积碳,针阀不能落入阀座,致使进气歧管的混合气被废气稀释,从而怠速不稳,发动机容易熄火。对EGR阀进行彻底清洗,并换上新垫,起动发动机,一切恢复正常。再次用尾气分析仪进行检测,结果如表4所示,所有数据都在标准范围之内,故障排除。从这个故障诊断实例可以看出,在对有故障的车辆做完必要的常规检查之后,使用尾气分析仪可以很快发现故障的本质原因,缩小检修范围。一辆广东三星6510汽车,套装97款克菜斯勒道奇3.3L发动机,行驶里程为140000km。故障现象:挂档轻加油门至1200r/min时有时熄火,不熄火时怠速降至400—500r/min甚至更低;急加油门没有任何故障,熄火后起动容易。故障分析:试车过程中,没有明显的断油或断火的感觉,但总感觉进入的空气量不够用。经检查,怠速系统没有任何故障,怠速马达在其它修理厂进行过替换试验,没有问题;节气门体也进行过更换试验,没有问题;用额外补充进气量的办法(断开一个节气门体后面的真空管),同样没有解决任何问题。原地不挂档加油门试验,无论怎样试验均没有任何故障征兆,发动机转速从1200r/min到800r/min下降非常平稳。怀疑是进气压力传感器有故障,有可能缓加油门时不能很好地感知进气量,所以使用检测仪的数据流功能,对各个数据进行实时观察,没发现有错误的数据流,MAP数值正常。对供油系统和点火系统进行仔细检查和测量,均没有发现任何故障。到现在为止应该说仅是凭经验感觉一点故障线索,那就是感觉好像进气量太少。既然怀疑是因为进气量太少造成的故障,那么通过尾气检测一定可以发现一些线索,所以对尾气进行了测量,怠速时的检测结果如表5所示。通过测量结果我们可以发现,混合气偏稀(入大于),燃烧比较好 (CO2较高,接近于15%)。通过上面的分析,可以间接证明该车进气或者供油系统有故障。为了检验这一分析,将所有影响进气量或感知进气量的元件一一列出,采取逐步分析排除的办法确定故障元件。这些元件有:怠速马达、节气门体及其传感器、MAP传感器、EGR阀。前几种元件已经检验和试验过, 目前只剩下EGR阀没进行过检验。EGR排气再循环阀的功用是在发动机工作过程中,将一部分废气引到吸入的新鲜空气(或混合气)中返回气缸进行再循环,以减少N0x的排放量。因为N0x主要是在高温富氧条件下生成的,废气为惰性气体,在燃烧过程中吸收热量,这样将降低最高燃烧温度,也减少了N0x的生成量。但是过度的排气再循环会影响发动机的正常运行,特别是在怠速、低速小负荷及发动机冷态运行时,参与再循环的废气会明显降低发动机的性能。因此应根据工况及工作条件的变化,自动调整参与再循环的废气量。根据发动机结构不同,进入进气歧管的废气量一般控制在6%—13%之间。在EGR系统中,通过一个特殊的通道将排气歧管与进气歧管连通,在该通道上装有EGR阀,通过控制EGR阀的开度来控制参与再循环的废气量(如图1所示)。EGR阀开启或关闭是由阀上方真空气室的真空度来控制的,而真空度则由受ECU控制的EGR真空电磁阀控制。EGR电磁阀受ECU控制,ECU根据发动机转速、空气流量、进气管压力、温度等信号控制EGR电磁线圈通电时间的长短,以此来控制进入EGR阀真空气室上方的真空度,从而控制EGR阀的开度,改变参与再循环的废气量。装有背压修正阀的EGR排气再循环系统,在EGR(真空)电磁阀与EGR阀间的真空管路中装有一个背压修正阀,其功用是根据排气歧管中的背压附加控制月F气再循环。即当发动机在小负荷工况,排气背压低时,背压修正阀保持EGR阀处于关闭状态,不进行排气再循环;只有在发动机负荷增大,排气歧管背压增大时,背压修正阀才允许EGR阀打开,进行排气再循环。排气歧管的背压通过管路作用在背压修正阀的背压气室下方,当发动机处于小负荷工况,排气背压低时,在阀门弹簧的作用下气室膜片向下移动,使修正阀门关闭真空通道,此时EGR阀在其阀门弹簧作用下保持关闭,因而不进行排气再循环;当发动机负荷增大,排气歧管背压升高时,修正阀背压气室下方的背压升高,使膜片克服阀门弹簧弹力向上运动,将修正阀门打开,由EGR电磁阀控制的真空通过背压修正阀进入EGR阀上方真空气室,将EGR阀吸开,月F气再循环通道打开,废气进行再循环。EGR电磁阀受ECU控市IJ,ECU根据转速信号、进气压力信号、水温信号、空气流量信号等,通过控制EGR电磁阀的开度来控制进入EGR阀的真空度,从而控制EGR阀的开度,改变参与再循环的废气量。通过上面的EGR阀工作原理分析可知,EGR在怠速工况和小负荷情况下是不参与工作的,否则会有一部分尾气进入燃烧室,不但会降低燃烧室的温度,还会恶化燃烧环境,阻碍新鲜空气的进入。故障排除:更换EGR阀,故障彻底消失。一辆奥迪A6轿车,装备2.8LJV6电控发动机,怠速时有轻微抖动,并且加速迟缓。故障检查:检测点火波形基本正常,但稍有不稳。测量尾气,C0为0.3%一0.5%,HC为200一500ppm,且在此范围内波动。用V.A.G1552检测仪检查,无故障代码输出。用V人.G1552故障检测仪进行数据流检测,发动机电控系统运行参数正常。检测结果分析:根据对客户的询问和加速迟缓的症状,应考虑对喷油器进行清洗;C0值正常,HC值虽然符合排放污染物的限制标准,但该车装有氧传感器和催化转化器,其C0值应低于0.5%,HC应低于100 ppm,而检测结果表明该车HC值高于此,标准且有波动,从出厂标准考虑为不正常,因此考虑发动机可能有失火现象,应进一步检查点火系统是否有轻微断路或短路,特别是短路故障。故障检修:清洗喷油器,观察各缸喷油器的雾化状况和流星的均匀性,均良好。检查点火系统,发现有一个缸的高压线有轻微短路(漏电)现象,为此更换了高压线。因火花塞间隙偏大,也同时更换了。复检发动机抖动稍有改善,但未彻底消除;尾气检查HC值下降不大,并仍有波动,分析认为故障仍可能是失火所致。为了进一步诊断故障,分别在左、右两侧月F气歧管氧传感器旁边的尾气检测口(该口通常用一个螺栓密封)进行检测,结果发现:左侧气缸排出的尾气C0值在0.5%左右,HC值在125ppm左右(因在催化转化器前测量,其值会比在月F气民管测量值稍高),且波动极小;右侧气缸排出的尾气中C0值也在0.5%左右,但HC值却在125—250ppm之间,且时有波动。因此间题应在右侧气缸中。为此检查右侧气缸的高压线和火花塞,发现第2缸火花塞的3个电极中有一个间隙过小,调整后重新安装,故障完全消除,尾气检测值也符合出厂标准。目前,安装催化转化器的车型越来越多,测量尾气有时比较困难,在不能很好分析故障的时候,可以尽量在催化转化器前方测量,这样可能更真实地反映发动机的排放情况。同时,还应将催化转化器前、后的测量结果加以比较,以便判断催化转化器的转化效率是否正常。一辆奔驰S320轿车,发动机怠速不稳,抖动严重,但加速正常。故障检测:调取该车故障代码,显示为正常代码;用示波器测试点火二次波形,结果正常;对各缸气缸压力进行测试,均在标准范围之内;进气及真空系统不漏气;用四气尾气分析仪检测尾气,发现怠速时数据很不稳定,第1组数据如表6所示,4种气体的检测数值全都较高。再次测试,其数据如表7所示。检测结果分析:将上述检测结果进行对比分析发现,HC和Co总是同时升高或降低,C02时高时低,燃烧效率很不稳定,02不能充分参与反应,数值一直较高。从而可以判定为混合气的形成与燃烧环境十分恶劣。推测是喷油器堵塞,导致喷油器针阀与阀座配合不密封,各缸喷油器在应该喷油时不喷油或少喷油,而在不需喷油时却持续喷油,因而造成供油不正常,致使4种气体的检测数据极不稳定。故障检修:做喷油脉冲宽度试验,怠速时为3.5ms,在正常范围内。拆下各缸喷油器检查,果然每个喷油器都有不同程度的堵塞。经过彻底清洗,装复试车,一切恢复正常。从该故障的检修过程可以看出,在燃油系统的检查中,利用尾气分析仪可以省去一些检修环节,如油压的测试,燃油泵、油压调节器和燃油滤请装置的检测。换个角度来考虑,假如在应急修理中,在未做相关检查之前,就用尾气分析仪进行检测,也许在诊断一开始就能找到故障点。一辆奥迪100型轿车,装备2.6LV6电控发动机,运转时严重抖动,加速无力,排气管排出的气体气味呛人。故障检测:用V.A.G1552微机故障检测仪对发动机电控系统进行检测,存在故障代码,故障代码的含义是“右侧燃油自适应修正已达极限”。用V.A.G1552微机故障诊断仪对发动机电控系统进行数据流检测,发现左、右两侧的燃油修正因数相差过大,左侧为—3.8%—0%,而右侧为10%—12.9%。用发动机综合分析仪检查点火系统并进行气缸压力分析,发现第3缸点火波形的击穿电压较低,且该缸气缸压力偏低(气缸压力相差过大也会导致发动机抖动)。用尾气分析仪检测尾气,Co为0.9%—1.3%, 而HC高达2800—2900 PPmo检测结果分析:根据检测结果可认为右侧混合气过稀,控制电脑对右侧燃油系统进行连续加浓且已达到修正极限。为判断是否是由于右侧氧传感器的信号导致这种结果,先对左、右两侧的氧传感器信号及其对空燃比变化的反应、电控单元对氧传感器信号变化的响应能力进行测试。为此,人为地制造混合气过浓和过稀的状态,发现氧传感器和电控单元的功能均正常,因此可以认为故障是控制系统以外的原因导致的。根据上述检测结果,点火波形基本正常,可以认为点火系统正常,但HC过高表示失火,因此可以认为这种失火很可能是由于混合气过稀,超出着火界限所致。但从尾气中的Co值看,实际混合气并不过稀,因此判断故障很可能是进气系统漏气所致。测量气缸压力,发现第3缸压力比其它缸低约100kPao故障检修:在拆解进气歧管时,发现进气歧管垫的实际压合面宽度只有1mm左右(至少应有4—5mm),其原因是进气歧管的安装面为v形,在安装密封垫后,再安装进气歧管时,由于不小心使该垫下滑,从而减小了密封带,导致严重漏气,即使燃油修正已达到极限,但仍无法完全补偿,这是机械原因导致的故障。将上述故障点彻底排除后试车,故障排除。一辆上海别克G轿车,故障症状是发动机排气冒黑烟。诊断与排除:大修发动机后试车,开始时一切正常,只是排气管接口垫有些轻微漏气。继续试车发现,发动机热车后出现怠速不稳、加速不畅现象,同时故障灯点亮报警。经检查,显示故障码为四131,即氧传感器故障。发动机热车运转时就车测量(不拔下括头),氧传感器电压为0.28V且不变化,更换一个氧传感器后,发动机刚着车时还好,但运转一会儿后故障重现,怠速不稳,排气管冒黑烟。拆下火花塞检查,发现已有积碳,更换一组新火花塞后,运转约半小时,怠速又不稳,检查火花塞又被积碳糊死。此时故障灯再次点亮,经检查显示故障码P0171,即混合气太稀。因更换氧传感器后故障不但没有好转反而加重,所以修理工认为故障不在氧传感器。经测量,油压正常,又检查、试换7空气流星、水温、节气门位置等传感器,故障始终未能排除,于是回过头来再检查新换的氧传感器。经就车测量,氧传感器电压为0.18V左右,与用检测仪查到的数据相同,证明检测仪可以完全接收到氧传感器电压。断开氧传感器括头,测量PCM端接线,电压只有0.32V(理论值为0.45V),于是怀疑电路有故障或PCM损坏。用尾气分析仪检查尾气,发现在怠速时C0含量接近4%,HC达到300ppm左右。通过尾气分析可以认为此时的混合气不是太浓。就车测量氧传感器,电压仍旧很低(这种现象又可以解释为混合气过稀)。断开氧传感器括头,用数字万用表测量PCM端电压为0.44V,说明线路及PCM基本情况正常。为什么会出现浓、稀两种截然不同的解释呢7难道是新换的氧传感器有故障7于是,使用模拟器模拟氧传感器数值的功能。将模拟器的绿色氧传感器专用线和黑色连线连接在车上氧传感器的输出回路上;将中间功能选择开关置于Knock/0xy位置;将右侧功能选择开关置于VoHs/0xy位置;使发动机起动运转,然后打开SST皿,此时SST皿4寄产生一个0.15V的恒定的连续信号来模拟稀混合气状态下的氧传感器发出的信号;按下模拟器上方的“0(y”键,模拟器将产生一个0.85V的恒定的连续信号来模拟浓混合气状态下的氧传感器发出的信号;在使用模拟器模拟7氧传感器后,再用检测仪读取数据流,发现氧传感器的输入信号也一同变化;当模拟器的电压较长时间为0.85V时,观察尾气的C0值降为0.65%,说明PCM对系统的控制完好,故障原因还是在氧传感器。将氧传感器安装到其它车辆上进行试验,没有发现任何故障,数据流、燃烧、尾气、行驶都很正常。通过上面的试验可以证明:系统几乎没有故障,问题的原因在于氧传感器信号。因为此车有漏气现象,会不会是因为排气包漏气,导致排气包中形成负压,将外界的真空引进排气系统当中了呢7经检查ldF气系统确有漏气之处,将排气管修好之后试车,故障排除。
小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点,小目标的检测精度通常只有大目标的一半。
CVPR2019论文: Augmentation for small object detection 提到了一些应对小目标检测的方法,笔者结合这篇论文以及查阅其它资料,对小目标检测相关技巧在本文进行了部分总结。
小目标的定义: 在MS COCO数据集中,面积小于 32*32 的物体被认为是小物体。
小目标难以检测的原因: 分辨率低,图像模糊,携带的信息少。由此所导致特征表达能力弱,也就是在提取特征的过程中,能提取到的特征非常少,这不利于我们对小目标的检测。
1、由于小目标面积太小,可以放大图片后再做检测,也就是在尺度上做文章,如FPN(Feature Pyramid Networks for Object Detection),SNIP(An Analysis of Scale Invariance in Object Detection – SNIP)。
Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的论文。
2、在Anchor上做文章(Faster Rcnn,SSD, FPN都有各自的anchor设计),anchor在设置方面需要考虑三个因素:
anchor的密度: 由检测所用feature map的stride决定,这个值与前景阈值密切相关。
anchor的范围: RetinaNet中是anchor范围是32~512,这里应根据任务检测目标的范围确定,按需调整anchor范围,或目标变化范围太大如MS COCO,这时候应采用多尺度测试。
anchor的形状数量: RetinaNet每个位置预测三尺度三比例共9个形状的anchor,这样可以增加anchor的密度,但stride决定这些形状都是同样的滑窗步进,需考虑步进会不会太大,如RetinaNet框架前景阈值是时,一般anchor大小是stride的4倍左右。
该部分anchor内容参考于:
3、在ROI Pooling上做文章,文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 认为小目标在pooling之后会导致物体结构失真,于是提出了新的Context-Aware RoI Pooling方法。
4、用生成对抗网络(GAN)来做小目标检测:Perceptual Generative Adversarial Networks for Small Object Detection。
1、从COCO上的统计图可以发现,小目标的个数多,占到了,但是含有小目标的图片只有,大目标所占比例为,但是含有大目标的图像却有。这说明有一半的图像是不含小目标的,大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中,模型有一半的时间是学习不到小目标的特性的。
此外,对于小目标,平均能够匹配的anchor数量为1个,平均最大的IoU为,这说明很多情况下,有些小目标是没有对应的anchor或者对应的anchor非常少的,即使有对应的anchor,他们的IoU也比较小,平均最大的IoU也才。
如上图,左上角是一个anchor示意图,右上角是一个小目标所对应的anchor,一共有只有三个anchor能够与小目标配对,且配对的IoU也不高。左下角是一个大目标对应的anchor,可以发现有非常多的anchor能够与其匹配。匹配的anchor数量越多,则此目标被检出的概率也就越大。
实现方法: 1、Oversampling :我们通过在训练期间对这些图像进行过采样来解决包含小对象的相对较少图像的问题(多用这类图片)。在实验中,我们改变了过采样率和研究不仅对小物体检测而且对检测中大物体的过采样效果
2、Copy-Pasting Strategies:将小物体在图片中复制多分,在保证不影响其他物体的基础上,增加小物体在图片中出现的次数(把小目标扣下来贴到原图中去),提升被anchor包含的概率。
如上图右下角,本来只有一个小目标,对应的anchor数量为3个,现在将其复制三份,则在图中就出现了四个小目标,对应的anchor数量也就变成了12个,大大增加了这个小目标被检出的概率。从而让模型在训练的过程中,也能够有机会得到更多的小目标训练样本。
具体的实现方式如下图:图中网球和飞碟都是小物体,本来图中只有一个网球,一个飞碟,通过人工复制的方式,在图像中复制多份。同时要保证复制后的小物体不能够覆盖该原来存在的目标。
网上有人说可以试一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ,这是一种在视频跟踪/分割里面比较有效的数据增强手段,据说对于小目标物体检测也很有效。
基于无人机拍摄图片的检测目前也是个热门研究点(难点是目标小,密度大)。 相关论文: The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking(数据集) Drone-based Object Counting by Spatially Regularized Regional Proposal Network Simultaneously Detecting and Counting Dense Vehicles from Drone Images Vision Meets Drones: A Challenge(数据集)
1: 2: 3: 4: 5: 6: 7:
运动目标检测与跟踪算法研究 视觉是人类感知自身周围复杂环境最直接有效的手段之一, 而在现实生活中 大量有意义的视觉信息都包含在运动中,人眼对运动的物体和目标也更敏感,能 够快速的发现运动目标, 并对目标的运动轨迹进行预测和描绘。 随着计算机技术、 通信技术、图像处理技术的不断发展,计算机视觉己成为目前的热点研究问题之 一。 而运动目标检测与跟踪是计算机视觉研究的核心课题之一, 融合了图像处理、 模式识别、人工智能、自动控制、计算机等众多领域的先进技术,在军事制导、 视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实 用价值和广阔的发展前景。 1、国内外研究现状 运动目标检测 运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。 根据运动目标与摄像机之间的关系, 运动目标检测分为静态背景下的运动目标检 测和动态背景下的运动目标检测。 静态背景下的运动目标检测是指摄像机在整个 监视过程中不发生移动; 动态背景下的运动目标检测是指摄像机在监视过程中发 生了移动,如平动、旋转或多自由度运动等。 静态背景 静态背景下的运动目标检测方法主要有以下几种: (1)背景差分法 背景差分法是目前最常用的一种目标检测方法, 其基本思想就是首先获得一个 背景模型,然后将当前帧与背景模型相减,如果像素差值大于某一阈值,则判断 此像素属于运动目标,否则属于背景图像。利用当前图像与背景图像的差分来检 测运动区域,一般能够提供比较完整的特征数据,但对于动态场景的变化,如光 照和外来无关事件的干扰等特别敏感。 很多研究人员目前都致力于开发不同的背 景模型,以减少动态场景变化对运动目标检测的影响。背景模型的建立与更新、 阴影的去除等对跟踪结果的好坏至关重要。 背景差分法的实现简单,在固定背景下能够完整地精确、快速地分割出运动 对象。不足之处是易受环境光线变化的影响,需要加入背景图像更新机制,且只 对背景已知的运动对象检测比较有效, 不适用于摄像头运动或者背景灰度变化很 大的情况。 (2)帧间差分法 帧间差分法是在连续的图像序列中两个或三个相邻帧间, 采用基于像素的时 间差分并阈值化来提取图像中的运动区域。 帧间差分法对动态环境具有较强的自 适应性,但一般不能完全提取出所有相关的特征像素点,在运动实体内部容易产 生空洞现象。因此在相邻帧间差分法的基础上提出了对称差分法,它是对图像序 列中每连续三帧图像进行对称差分,检测出目标的运动范围,同时利用上一帧分 割出来的模板对检测出来的目标运动范围进行修正, 从而能较好地检测出中间帧 运动目标的形状轮廓。 帧间差分法非常适合于动态变化的环境,因为它只对运动物体敏感。实际上 它只检测相对运动的物体,而且因两幅图像的时间间隔较短,差分图像受光线 变化影响小,检测有效而稳定。该算法简单、速度快,已得到广泛应用。虽然该 方法不能够完整地分割运动对象,只能检测出物体运动变化的区域,但所检测出 的物体运动信息仍可用于进一步的目标分割。 (3)光流法 光流法就充分的利用了图像自身所携带的信息。在空间中,运动可以用运动 场描述,而在一个图像平面上,物体的运动往往是通过图像序列中图像灰度分布 的不同来体现,从而使空间中的运动场转移到图像上就表示为光流场。所谓光流 是指空间中物体被观测面上的像素点运动产生的瞬时速度场, 包含了物体表面结 构和动态行为等重要信息。 基于光流法的运动目标检测采用了运动目标随时间变 化的光流特性,由于光流不仅包含了被观测物体的运动信息,还携带了物体运动 和景物三位结构的丰富信息。 在比较理想的情况下,它能够检测独立运动的对象, 不需要预先知道场景的任何信息,可以很精确地计算出运动物体的速度,并且可 用于动态场景的情况。 但是大多数光流方法的计算相当复杂,对硬件要求比较高, 不适于实时处理,而且对噪声比较敏感,抗噪性差。并且由于遮挡、多光源、透明 性及噪声等原因,使得光流场基本方程——灰度守恒的假设条件无法满足,不能 正确求出光流场,计算方也相当复杂,计算量巨大,不能满足实时的要求。 动态背景 动态背景下的运动目标检测由于存在着目标与摄像机之间复杂的相对运动, 检测方法要比静态背景下的运动目标检测方法复杂。常用的检测方法有匹配法、 光流法以及全局运动估计法等。 2、运动目标跟踪 运动目标跟踪是确定同一物体在图像序列的不同帧中的位置的过程。 近年来 出现了大批运动目标跟踪方法,许多文献对这些方法进行了分类介绍,可将目标 跟踪方法分为四类:基于区域的跟踪、基于特征的跟踪、基于活动轮廓的跟踪、 基于模型的跟踪,这种分类方法概括了目前大多数跟踪方法,下面用这种分类方 法对目前的跟踪方法进行概括介绍。 (1)基于区域的跟踪 基于区域的跟踪方法基本思想是: 首先通过图像分割或预先人为确定提取包 含目标区域的模板,并设定一个相似性度量,然后在序列图像中搜索目标,把度 量取极值时对应的区域作为对应帧中的目标区域。 由于提取的目标模板包含了较 完整的目标信息,该方法在目标未被遮挡时,跟踪精度非常高,跟踪非常稳定, 但通常比较耗时,特别是当目标区域较大时,因此一般应用于跟踪较小的目标或 对比度较差的目标。该方法还可以和多种预测算法结合使用,如卡尔曼预测、粒 子预测等,以估计每帧图像中目标的位置。近年来,对基于区域的跟踪方法关注 较多的是如何处理运动目标姿态变化引起的模板变化时的情况以及目标被严重 遮挡时的情况。 (2)基于特征的跟踪 基于特征的跟踪方法基本思想是:首先提取目标的某个或某些局部特征,然 后利用某种匹配算法在图像序列中进行特征匹配,从而实现对目标的跟踪。该方 法的优点是即使目标部分被遮挡,只要还有一部分特征可以被看到,就可以完成 跟踪任务,另外,该方法还可与卡尔曼滤波器结合使用,实时性较好,因此常用 于复杂场景下对运动目标的实时、 鲁棒跟踪。 用于跟踪的特征很多, 如角点边缘、 形状、纹理、颜色等,如何从众多的特征中选取最具区分性、最稳定的特征是基 于特征的跟踪方法的关键和难点所在。 (3)基于活动轮廓的跟踪 基于活动轮廓的跟踪方法基本思想是:利用封闭的曲线轮廓表达运动目标, 结合图像特征、曲线轮廓构造能量函数,通过求解极小化能量实现曲线轮廓的自 动连续更新,从而实现对目标的跟踪。自Kass在1987年提出Snake模型以来,基 于活动轮廓的方法就开始广泛应用于目标跟踪领域。相对于基于区域的跟踪方 法,轮廓表达有减少复杂度的优点,而且在目标被部分遮挡的情况下也能连续的 进行跟踪,但是该方法的跟踪结果受初始化影响较大,对噪声也较为敏感。 (4)基于模型的跟踪 基于模型的跟踪方法基本思想是: 首先通过一定的先验知识对所跟踪目标建 立模型,然后通过匹配跟踪目标,并进行模型的实时更新。通常利用测量、CAD 工具和计算机视觉技术建立模型。主要有三种形式的模型,即线图模型、二维轮 廓模型和三维立体模型口61,应用较多的是运动目标的三维立体模型,尤其是对 刚体目标如汽车的跟踪。该方法的优点是可以精确分析目标的运动轨迹,即使在 目标姿态变化和部分遮挡的情况下也能够可靠的跟踪, 但跟踪精度取决于模型的 精度,而在现实生活中要获得所有运动目标的精确模型是非常困难的。 目标检测算法,至今已提出了数千种各种类型的算法,而且每年都有上百篇相 关的研究论文或报告发表。尽管人们在目标检测或图像分割等方面做了许多研 究,现己提出的分割算法大都是针对具体问题的,并没有一种适合于所有情况的 通用算法。 目前, 比较经典的运动目标检测算法有: 双帧差分法、 三帧差分法(对 称差分法)、背景差法、光流法等方法,这些方法之间并不是完全独立,而是可 以相互交融的。 目标跟踪的主要目的就是要建立目标运动的时域模型, 其算法的优劣直接影响 着运动目标跟踪的稳定性和精确度, 虽然对运动目标跟踪理论的研究已经进行了 很多年,但至今它仍然是计算机视觉等领域的研究热点问题之一。研究一种鲁棒 性好、精确、高性能的运动目标跟踪方法依然是该研究领域所面临的一个巨大挑 战。基于此目的,系统必须对每个独立的目标进行持续的跟踪。为了实现对复杂 环境中运动目标快速、稳定的跟踪,人们提出了众多算法,但先前的许多算法都 是针对刚体目标,或是将形变较小的非刚体近似为刚体目标进行跟踪,因而这些 算法难以实现对形状变化较大的非刚体目标的正确跟踪。 根据跟踪算法所用的预 测技术来划分,目前主要的跟踪算法有:基于均值漂移的方法、基于遗传算法的 方法、基于Kalman滤波器的方法、基于Monto Carlo的方法以及多假设跟踪的方 法等。 运动检测与目标跟踪算法模块 运动检测与目标跟踪算法模块 与目标跟踪 一、运动检测算法 1.算法效果 算法效果总体来说,对比度高的视频检测效果要优于对比度低的视频。 算法可以比较好地去除目标周围的浅影子,浅影的去除率在 80%以上。去影后目标的 完整性可以得到较好的保持,在 80%以上。在对比度比较高的环境中可以准确地识别较大 的滞留物或盗移物。 从对目标的检测率上来说,对小目标较难进行检测。一般目标小于 40 个像素就会被漏 掉。对于对比度不高的目标会检测不完整。总体上来说,算法在对比度较高的环境中漏检率 都较低,在 以下,在对比度不高或有小目标的场景下漏检率在 6%以下。 精细运动检测的目的是在较理想的环境下尽量精确地提取目标的轮廓和区域, 以供高层 进行应用。同时在分离距离较近目标和进行其它信息的进一步判断也具有一定的优势。 反映算法优缺点的详细效果如下所示: 去影子和完整性 效果好 公司内视频 左边的为去影前,右边的 为去影后的结果,可以看出在 完整 性和去影率上 都有所 突 出。 这两个视频的共周特点 城市交通 是,影子都是浅影子,视频噪 声不太明显。目标与背景的对 比度比较高。 效果差 这两个视频的特点是影子 都是深影子。虽然影子没有去 掉,但是物体的完整性是比较 高的。主要原因就是场景的对 路口,上午 十点 比度比较高。 滞留物检测和稳定性 效果好 会议室盗移 效果好的原因,一是盗移或 滞留目标与背景对比度较大,二 是目标本身尺寸较大。 另外盗移物或滞留物在保持 各自的状态期间不能受到光照变 化或其它明显运动目标的干扰, 要不然有可能会造成判断的不稳 定。 效果差 会议室 遗留 物 大部分时间内,滞留的判断 都是较稳定的,但是在后期出现 了不稳定。主要原因是目标太小 的原故。 因此在进行滞留物判断时, 大目标,对比度较高的环境有利 于判断的稳定性和准确性。 漏检率 效果好 城市交通 在对比度高的环境下, 目标相对都较大的情况下 (大于 40 个像素) 可以很 , 稳定的检测出目标。 在这种 条件下的漏检率通常都是 非常低的,在 以下。 效果差 行人-傍晚 和“行人”目录下 的 其 它 昏 暗 条件 下的视频 在对 比度较低的 情况 下,会造成检测结果不稳 定。漏检率较高。主要原因 是由于去影子造成的。 这种 对比度下的漏检率一般在 6%以下。 除了 对比度低是 造成 漏检的原因外, 过小的目标 也会造成漏检,一般是 40 个像素以下的目标都会被 忽略掉。 算法效率内存消耗(单位:b) .MD_ISRAM_data .MD_ISRAM_bss .MD_SDRAM_data 0x470 0x24 0x348 .MD_SDRAM_bss .MD_text 0x1a8480 0x6d40 速度 ms 运动区域占 2/3 左右时 CPU 占用率 一帧耗时 Max:57% Min: Avg: Max:23 Min: Avg:15 运动区域占 1/3 左右时 Max:45% Min: Avg:20% Max:18 Min: Avg:8 检测参数说明 检测参数说明 检测到的滞留物或盗走物的消失时间目前分别设定在 200 帧和 100 帧, 可以通过参数来 自行调整。 目前目标与背景的差异是根据局部光照强度所决定的, 范围在 4 个像素值以上。 目前参 数设置要求目标大小要在 20 个像素以上才能被检测到,可以通过参数来自行调整。 目标阴影的去除能力是可以调整的, 目前的参数设置可以去除大部分的浅影子和较小的 光照变化。 适用环境推荐光照条件较好(具有一定的对比度)的室内环境或室外环境。不易用它去检测过小的目 标,比如小于 40 个像素的目标。室外环境不易太复杂。输出目标为精细轮廓目标,可以为 后面高层应用提供良好的信息。 二、目标跟踪 稳定运行环境要求此版本跟踪算法与运动检测算法紧密结合, 对相机的架设和视频的背景环境和运动目标 数量运动方式有一定要求: 背景要求: 由于运动跟踪是基于运动检测的结果进行的, 所以对背景的要求和运动检测一样, 背景要求: 运动目标相对于背景要有一定反差。 运动目标:由于运动检测中,对较小的目标可能过滤掉。所以运动目标的大小要符合运动检 运动目标: 测的要求。运动目标的速度不能太大,要保证前后帧运动目标的重合面积大于 10 个像素。此阈值可修改(建议不要随意修改,过小,可能把碎片当成原目标分 裂出来的小目标,过大,可能失去跟踪。当然可试着调节以适应不同场景)。该 算法对由于运动检测在地面上产生的碎片抗干扰性比较差, 运动目标和碎片相遇 时,容易发生融合又分离的现象,造成轨迹混乱。消失目标和新生目标很容易当 成同一目标处理,所以可能出现一个新目标继承新生目标的轨迹。 运动方式: 运动目标的最大数量由外部设定。 但运动跟踪对运动目标比较稀疏的场景效果比 运动方式: 较好。 算法对由于运动检测在运动目标上产生的碎片有一定的抗干扰。 算法没对 物体的遮挡进行处理。对于两运动目标之间的遮挡按融合来处理。 拍摄角度: 拍摄角度:拍摄视野比较大,且最好是俯视拍摄。
能不能给我发一份呢?
经典方法:背景差分法
效果比较好的方法是:无参估计背景减除法——ViBe. 算法优点:思想简单,易于实现;样本衰减最优;运算效率高 算法缺点:把阴影当做前景;运动目标不完整。
优点:算法实现简单,程序设计复杂度低,运行速度快;动态环境自适应性强,对场景光线变化不敏感。
优点:实时性高
将单个目标的跟踪问题看作是MDP过程中的策略决定问题,从而多目标跟踪就变成了多个MDP的问题。
用MDP来建模一个物体,主要包括四个成分:
应用实例 1 :视频监控
应用实例 2 :导弹飞机识别 (1). 首先对飞机红外图像做处理,包括平移旋转缩放等等模拟飞机的运动,得到 连续帧图像 作为实验样本。 (2). 使用 聚类算法 判断红外图像中天空背景的复杂度,然后采用 分割算法 分割出飞机;如果 天空背景 比较简单,就使用OTSU算法对飞机及逆行分割。 (3). 提取傅里叶 描述子 作为研究对象的 特征 。 (4). 最后使用目标跟踪算法。
在上一步,完成了网络的创建和数据的预处理。接下来准备对这个网络进行训练,通过训练得到一个可以用于目标检测的深度学习网络模型。这里首先要确定上一步输出的模型和数据集的存放路径是可用的,否则训练环节会因为缺少输入而报错。 Halcon的参考样例详述了这一过程,这里做一些学习记录。 设置输入路径,主要是两个,一是上一步的预训练的以.hdl结尾的模型,另一个是数据集和样本数据字典的存放路径。 输出路径也是两个,一是存放最佳评估模型的路径,一个是最终训练完成的模型路径。 首先用check_files_availability验证预处理模型和数据集路径是否正确。没有问题的话可以开始读取。 使用read_dl_model读取前一步初始化后的网络模型,得到模型的句柄DLModelHandle。 接着用read_dict读取预处理后的数据集,得到数据字典句柄DLDataset。 设置模型参数主要通过set_dl_model_param算子,以修改属性值的方式改变关键参数的值。该算子原型如下: set_dl_model_param( : : DLModelHandle, GenParamName, GenParamValue : ) 输入三个参数: 注意,如果将'runtime'的值改为了’gpu’,则要确定cuDNN和cuBLAS已经成功安装了。 通过set_dl_model_param算子,可以将本文开头提到的设置的模型的基本参数传递给模型句柄DLModelHandle。如将'batch_size'设为之前的batch_size的值等等。 1)创建训练参数。 这里使用create_dl_train_param算子创建一个训练参数的字典,用于存放训练参数和训练效果可视化的参数。这些参数可以做个说明: 2)训练网络 接下来是最耗时的部分,即使用train_dl_model算子进行深度学习网络模型的训练。算子如下: train_dl_model( : : DLDataset, DLModelHandle, TrainParam, StartEpoch : TrainResults, TrainInfos,EvaluationInfos) 前四个参数是输入参数,后三个是输出参数。 接着到了第三步,即验证模型的部分。
本文作为OC-SORT的论文阅读记录,中间可能会加入自己的看法,由于是tracking这块的初学者,文中若有错误的认识麻烦读者帮忙修正。
OC-SORT是来自 CVPR2022 的一篇文章,采用的范式是MOT中的TBD(Tracking by Detection)。虽然学术界中JDE的研究越来越多,2022年开始也有很多基于Transformer的方法效果非常不错,但是目前工业界还是使用TBD这种方式比较多,类似还有Bytetrack等等,基本都可以满足跟踪的需求。
TBD范式中比较出名的一系列就是SORT系列,这其中笔者了解的有最初的鼻祖SORT,还有后期衍生出来的DeepSORT, StrongSORT, StrongSORT++, ByteTrack,还有本文要讨论的OC-SORT。
关于SORT系列方法具体解析可以参考下面的博客和帖子,个人认为写的很详细和易懂,方便随时查阅:
通过回顾SORT方法,作者提出三个问题作为方法设计的动机:
文章提出三项改进:
这种在线平滑方式通过当前帧检测到的结果和之前帧的轨迹位置,来生成更多的虚拟点,以此辅助KF做预测。具体通过⼀个虚拟的轨迹对参数进行在线平滑,回溯到目标检测丢失的时候,可以修复在时间间隔内累积的误差。
在计算IOU度量矩阵的时候,把速度/方向计算成代价矩阵放在原来的度量矩阵中,(个人理解类似模型训练的trick):
这部分看的不是很懂…
OCR用于恢复轨迹,这部分依赖于检测值而不是错误的估计值。当轨迹丢失后检测目标再出现时,直接将丢失轨迹时检测值和重新出现的检测值相关联以恢复轨迹。