目标检测与跟踪论文

运动目标检测与跟踪算法研究 视觉是人类感知自身周围复杂环境最直接有效的手段之一， 而在现实生活中 大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能 够快速的发现运动目标， 并对目标的运动轨迹进行预测和描绘。 随着计算机技术、 通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之 一。 而运动目标检测与跟踪是计算机视觉研究的核心课题之一， 融合了图像处理、 模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、 视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实 用价值和广阔的发展前景。 1、国内外研究现状 1.1 运动目标检测 运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。 根据运动目标与摄像机之间的关系， 运动目标检测分为静态背景下的运动目标检 测和动态背景下的运动目标检测。 静态背景下的运动目标检测是指摄像机在整个 监视过程中不发生移动； 动态背景下的运动目标检测是指摄像机在监视过程中发 生了移动，如平动、旋转或多自由度运动等。 静态背景 静态背景下的运动目标检测方法主要有以下几种： （1）背景差分法 背景差分法是目前最常用的一种目标检测方法， 其基本思想就是首先获得一个 背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断 此像素属于运动目标，否则属于背景图像。利用当前图像与背景图像的差分来检 测运动区域，一般能够提供比较完整的特征数据，但对于动态场景的变化，如光 照和外来无关事件的干扰等特别敏感。 很多研究人员目前都致力于开发不同的背 景模型，以减少动态场景变化对运动目标检测的影响。背景模型的建立与更新、 阴影的去除等对跟踪结果的好坏至关重要。 背景差分法的实现简单，在固定背景下能够完整地精确、快速地分割出运动 对象。不足之处是易受环境光线变化的影响，需要加入背景图像更新机制，且只 对背景已知的运动对象检测比较有效， 不适用于摄像头运动或者背景灰度变化很 大的情况。 （2）帧间差分法 帧间差分法是在连续的图像序列中两个或三个相邻帧间， 采用基于像素的时 间差分并阈值化来提取图像中的运动区域。 帧间差分法对动态环境具有较强的自 适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产 生空洞现象。因此在相邻帧间差分法的基础上提出了对称差分法，它是对图像序 列中每连续三帧图像进行对称差分，检测出目标的运动范围，同时利用上一帧分 割出来的模板对检测出来的目标运动范围进行修正， 从而能较好地检测出中间帧 运动目标的形状轮廓。 帧间差分法非常适合于动态变化的环境，因为它只对运动物体敏感。实际上 它只检测相对运动的物体，而且因两幅图像的时间间隔较短，差分图像受光线 变化影响小，检测有效而稳定。该算法简单、速度快，已得到广泛应用。虽然该 方法不能够完整地分割运动对象，只能检测出物体运动变化的区域，但所检测出 的物体运动信息仍可用于进一步的目标分割。 （3）光流法 光流法就充分的利用了图像自身所携带的信息。在空间中,运动可以用运动 场描述,而在一个图像平面上,物体的运动往往是通过图像序列中图像灰度分布 的不同来体现,从而使空间中的运动场转移到图像上就表示为光流场。所谓光流 是指空间中物体被观测面上的像素点运动产生的瞬时速度场， 包含了物体表面结 构和动态行为等重要信息。 基于光流法的运动目标检测采用了运动目标随时间变 化的光流特性，由于光流不仅包含了被观测物体的运动信息，还携带了物体运动 和景物三位结构的丰富信息。 在比较理想的情况下,它能够检测独立运动的对象, 不需要预先知道场景的任何信息,可以很精确地计算出运动物体的速度,并且可 用于动态场景的情况。 但是大多数光流方法的计算相当复杂,对硬件要求比较高, 不适于实时处理,而且对噪声比较敏感,抗噪性差。并且由于遮挡、多光源、透明 性及噪声等原因，使得光流场基本方程——灰度守恒的假设条件无法满足，不能 正确求出光流场，计算方也相当复杂，计算量巨大，不能满足实时的要求。 动态背景 动态背景下的运动目标检测由于存在着目标与摄像机之间复杂的相对运动， 检测方法要比静态背景下的运动目标检测方法复杂。常用的检测方法有匹配法、 光流法以及全局运动估计法等。 2、运动目标跟踪 运动目标跟踪是确定同一物体在图像序列的不同帧中的位置的过程。 近年来 出现了大批运动目标跟踪方法，许多文献对这些方法进行了分类介绍，可将目标 跟踪方法分为四类：基于区域的跟踪、基于特征的跟踪、基于活动轮廓的跟踪、 基于模型的跟踪，这种分类方法概括了目前大多数跟踪方法，下面用这种分类方 法对目前的跟踪方法进行概括介绍。 (1)基于区域的跟踪 基于区域的跟踪方法基本思想是： 首先通过图像分割或预先人为确定提取包 含目标区域的模板，并设定一个相似性度量，然后在序列图像中搜索目标，把度 量取极值时对应的区域作为对应帧中的目标区域。 由于提取的目标模板包含了较 完整的目标信息，该方法在目标未被遮挡时，跟踪精度非常高，跟踪非常稳定， 但通常比较耗时，特别是当目标区域较大时，因此一般应用于跟踪较小的目标或 对比度较差的目标。该方法还可以和多种预测算法结合使用，如卡尔曼预测、粒 子预测等，以估计每帧图像中目标的位置。近年来，对基于区域的跟踪方法关注 较多的是如何处理运动目标姿态变化引起的模板变化时的情况以及目标被严重 遮挡时的情况。 (2)基于特征的跟踪 基于特征的跟踪方法基本思想是：首先提取目标的某个或某些局部特征，然 后利用某种匹配算法在图像序列中进行特征匹配，从而实现对目标的跟踪。该方 法的优点是即使目标部分被遮挡，只要还有一部分特征可以被看到，就可以完成 跟踪任务，另外，该方法还可与卡尔曼滤波器结合使用，实时性较好，因此常用 于复杂场景下对运动目标的实时、 鲁棒跟踪。 用于跟踪的特征很多， 如角点边缘、 形状、纹理、颜色等，如何从众多的特征中选取最具区分性、最稳定的特征是基 于特征的跟踪方法的关键和难点所在。 (3)基于活动轮廓的跟踪 基于活动轮廓的跟踪方法基本思想是：利用封闭的曲线轮廓表达运动目标， 结合图像特征、曲线轮廓构造能量函数，通过求解极小化能量实现曲线轮廓的自 动连续更新，从而实现对目标的跟踪。自Kass在1987年提出Snake模型以来，基 于活动轮廓的方法就开始广泛应用于目标跟踪领域。相对于基于区域的跟踪方 法，轮廓表达有减少复杂度的优点，而且在目标被部分遮挡的情况下也能连续的 进行跟踪，但是该方法的跟踪结果受初始化影响较大，对噪声也较为敏感。 (4)基于模型的跟踪 基于模型的跟踪方法基本思想是： 首先通过一定的先验知识对所跟踪目标建 立模型，然后通过匹配跟踪目标，并进行模型的实时更新。通常利用测量、CAD 工具和计算机视觉技术建立模型。主要有三种形式的模型，即线图模型、二维轮 廓模型和三维立体模型口61，应用较多的是运动目标的三维立体模型，尤其是对 刚体目标如汽车的跟踪。该方法的优点是可以精确分析目标的运动轨迹，即使在 目标姿态变化和部分遮挡的情况下也能够可靠的跟踪， 但跟踪精度取决于模型的 精度，而在现实生活中要获得所有运动目标的精确模型是非常困难的。 目标检测算法，至今已提出了数千种各种类型的算法，而且每年都有上百篇相 关的研究论文或报告发表。尽管人们在目标检测或图像分割等方面做了许多研 究，现己提出的分割算法大都是针对具体问题的，并没有一种适合于所有情况的 通用算法。 目前， 比较经典的运动目标检测算法有： 双帧差分法、 三帧差分法(对 称差分法)、背景差法、光流法等方法，这些方法之间并不是完全独立，而是可 以相互交融的。 目标跟踪的主要目的就是要建立目标运动的时域模型， 其算法的优劣直接影响 着运动目标跟踪的稳定性和精确度， 虽然对运动目标跟踪理论的研究已经进行了 很多年，但至今它仍然是计算机视觉等领域的研究热点问题之一。研究一种鲁棒 性好、精确、高性能的运动目标跟踪方法依然是该研究领域所面临的一个巨大挑 战。基于此目的，系统必须对每个独立的目标进行持续的跟踪。为了实现对复杂 环境中运动目标快速、稳定的跟踪，人们提出了众多算法，但先前的许多算法都 是针对刚体目标，或是将形变较小的非刚体近似为刚体目标进行跟踪，因而这些 算法难以实现对形状变化较大的非刚体目标的正确跟踪。 根据跟踪算法所用的预 测技术来划分，目前主要的跟踪算法有：基于均值漂移的方法、基于遗传算法的 方法、基于Kalman滤波器的方法、基于Monto Carlo的方法以及多假设跟踪的方 法等。 运动检测与目标跟踪算法模块 运动检测与目标跟踪算法模块 与目标跟踪 一、运动检测算法 1.算法效果 算法效果总体来说，对比度高的视频检测效果要优于对比度低的视频。 算法可以比较好地去除目标周围的浅影子，浅影的去除率在 80%以上。去影后目标的 完整性可以得到较好的保持，在 80%以上。在对比度比较高的环境中可以准确地识别较大 的滞留物或盗移物。 从对目标的检测率上来说，对小目标较难进行检测。一般目标小于 40 个像素就会被漏 掉。对于对比度不高的目标会检测不完整。总体上来说，算法在对比度较高的环境中漏检率 都较低，在 0.1%以下，在对比度不高或有小目标的场景下漏检率在 6%以下。 精细运动检测的目的是在较理想的环境下尽量精确地提取目标的轮廓和区域， 以供高层 进行应用。同时在分离距离较近目标和进行其它信息的进一步判断也具有一定的优势。 反映算法优缺点的详细效果如下所示： 去影子和完整性 效果好 公司内视频 左边的为去影前，右边的 为去影后的结果，可以看出在 完整 性和去影率上 都有所 突 出。 这两个视频的共周特点 城市交通 是，影子都是浅影子，视频噪 声不太明显。目标与背景的对 比度比较高。 效果差 这两个视频的特点是影子 都是深影子。虽然影子没有去 掉，但是物体的完整性是比较 高的。主要原因就是场景的对 路口，上午 十点 比度比较高。 滞留物检测和稳定性 效果好 会议室盗移 效果好的原因，一是盗移或 滞留目标与背景对比度较大，二 是目标本身尺寸较大。 另外盗移物或滞留物在保持 各自的状态期间不能受到光照变 化或其它明显运动目标的干扰， 要不然有可能会造成判断的不稳 定。 效果差 会议室 遗留 物 大部分时间内，滞留的判断 都是较稳定的，但是在后期出现 了不稳定。主要原因是目标太小 的原故。 因此在进行滞留物判断时， 大目标，对比度较高的环境有利 于判断的稳定性和准确性。 漏检率 效果好 城市交通 在对比度高的环境下， 目标相对都较大的情况下 （大于 40 个像素） 可以很 ， 稳定的检测出目标。 在这种 条件下的漏检率通常都是 非常低的，在 0.1%以下。 效果差 行人－傍晚 和“行人”目录下 的 其 它 昏 暗 条件 下的视频 在对 比度较低的 情况 下，会造成检测结果不稳 定。漏检率较高。主要原因 是由于去影子造成的。 这种 对比度下的漏检率一般在 6%以下。 除了 对比度低是 造成 漏检的原因外， 过小的目标 也会造成漏检，一般是 40 个像素以下的目标都会被 忽略掉。 1.2 算法效率内存消耗（单位：b） .MD_ISRAM_data .MD_ISRAM_bss .MD_SDRAM_data 0x470 0x24 0x348 .MD_SDRAM_bss .MD_text 0x1a8480 0x6d40 速度 ms 运动区域占 2/3 左右时 CPU 占用率 一帧耗时 Max:57% Min:2.8% Avg:37.5% Max:23 Min:1.14 Avg:15 运动区域占 1/3 左右时 Max:45% Min:2.8% Avg:20% Max:18 Min:1.14 Avg:8 1.3 检测参数说明 检测参数说明 检测到的滞留物或盗走物的消失时间目前分别设定在 200 帧和 100 帧， 可以通过参数来 自行调整。 目前目标与背景的差异是根据局部光照强度所决定的， 范围在 4 个像素值以上。 目前参 数设置要求目标大小要在 20 个像素以上才能被检测到，可以通过参数来自行调整。 目标阴影的去除能力是可以调整的， 目前的参数设置可以去除大部分的浅影子和较小的 光照变化。 1.4 适用环境推荐光照条件较好（具有一定的对比度）的室内环境或室外环境。不易用它去检测过小的目 标，比如小于 40 个像素的目标。室外环境不易太复杂。输出目标为精细轮廓目标，可以为 后面高层应用提供良好的信息。 二、目标跟踪 2.1 稳定运行环境要求此版本跟踪算法与运动检测算法紧密结合， 对相机的架设和视频的背景环境和运动目标 数量运动方式有一定要求： 背景要求： 由于运动跟踪是基于运动检测的结果进行的， 所以对背景的要求和运动检测一样， 背景要求： 运动目标相对于背景要有一定反差。 运动目标：由于运动检测中，对较小的目标可能过滤掉。所以运动目标的大小要符合运动检 运动目标： 测的要求。运动目标的速度不能太大，要保证前后帧运动目标的重合面积大于 10 个像素。此阈值可修改(建议不要随意修改，过小，可能把碎片当成原目标分 裂出来的小目标，过大，可能失去跟踪。当然可试着调节以适应不同场景)。该 算法对由于运动检测在地面上产生的碎片抗干扰性比较差， 运动目标和碎片相遇 时，容易发生融合又分离的现象，造成轨迹混乱。消失目标和新生目标很容易当 成同一目标处理，所以可能出现一个新目标继承新生目标的轨迹。 运动方式： 运动目标的最大数量由外部设定。 但运动跟踪对运动目标比较稀疏的场景效果比 运动方式： 较好。 算法对由于运动检测在运动目标上产生的碎片有一定的抗干扰。 算法没对 物体的遮挡进行处理。对于两运动目标之间的遮挡按融合来处理。 拍摄角度： 拍摄角度：拍摄视野比较大，且最好是俯视拍摄。

一种用于三维空间杂波环境机动目标跟踪的数据互联方法，《电子与信息学报》2009年 第4期被动传感器阵列中基于粒子滤波的目标跟踪，《电子与信息学报》2009年 第4期一种新的嵌入式Linux高性能定时器实现方法，《信号处理》2009年 第3期一种新的红外弱小目标检测与跟踪算法，《信号处理》2008年 第6期被动传感器网基于修正Riccati方程的系统优化设计，《信号处理》2008年 第5期基于SIS框架和蚁群算法的非线性多目标跟踪，《电子与信息学报》2008年 第9期基于人类视觉系统的自适应数字水印算法，《上海交通大学学报》2008年 第7期一种基于电子签章的二值图像数字水印算法，《信号处理》2008年 第3期基于身份的网络化制造安全协同商务平台，《计算机工程》2008年 第13期基于Clifford代数传感器网络覆盖理论的路径分析，《电子学报》2007年 第B12期传感器网络高阶模糊覆盖分析，《电子学报》2007年 第B12期传感器网络最佳情况模糊覆盖问题研究，《电子学报》2007年 第B12期一种基于蚁群算法的多目标跟踪数据关联方法，《电子学报》2008年 第3期基于数据仓库的投资决策支持系统设计研究，《微电子学与计算机》2008年 第2期量子球壳聚类，《西安电子科技大学学报》2008年 第1期基于身份的安全邮件认证体系设计与分析，《计算机科学》2008年 第2期异类传感器系统目标快速定位方法，《系统工程与电子技术》2007年 第12期一种基于并行计算熵迁移策略的多分辨DOM数据生成算法，《中国科学技术大学学报》2007年 第12期基于模糊Hough变换的被动传感器系统航迹起始方法，《系统工程与电子技术》2007年 第11期THz信号处理与分析的研究现状和发展展望，《电子学报》2007年 第10期模糊数据互联滤波器及其在机动目标跟踪中的应用，《系统仿真学报》2007年 第20期分布式异类传感器网异步采样下的航迹起始算法，《系统工程与电子技术》2007年 第9期机动目标跟踪中数据互联新方法，《电子与信息学报》2007年 第10期一种新的视界覆盖遗传算法，《西安电子科技大学学报》2007年 第5期基于运动特征的远距离红外目标检测方法，《电子与信息学报》2007年 第8期被动传感器网基于模糊综合贴近度的航迹起始，《电子学报》2007年 第8期基于IBE的跨网络电子公文安全交换平台，《微计算机信息》2007年 第18期一种基于身份的无可信第三方签名方案，《深圳大学学报：理工版》2007年 第3期基于图像梯度场序列的双向GDIM光流计算方法，《电子学报》2007年 第7期一种基于身份的短数字签名方案，《微计算机信息》2007年 第21期分布式异类传感器网Hough变换航迹起始算法，《深圳大学学报：理工版》2007年 第2期基于DWT和DCT域的二值图像数字水印算法，《计算机与数字工程》2007年 第3期基于并行计算熵的同构集群负载均衡算法，《深圳大学学报：理工版》2007年 第1期基于unscented粒子滤波的红外弱小目标跟踪，《系统工程与电子技术》2007年 第1期一种空域DCT与时域DWT相结合的鲁棒视频数字水印算法，《中国体视学与图像分析》2006年 第4期图像插值方法对互信息局部极值的影响分析，《电子与信息学报》2006年 第10期网状被动传感器系统优化设计， 《系统工程与电子技术》2006年 第12期基于小波变换和目标运动特性的红外弱小目标检测， 《红外》2006年 第9期基于小波变换的红外弱小目标检测新方法，《红外技术》2006年 第7期在线CA的安全增强方案研究，《计算机工程》2006年 第11期基于ADSP—BF561车载多媒体系统，《现代电子技术》2006年 第3期空间分析中视界覆盖问题的研究，《系统工程与电子技术》2005年 第11期模糊观测数据的关联和目标跟踪，《信号处理》2005年 第4期从航空影像中自动提取高层建筑物，《计算机学报》2005年 第7期城市航空影像中基于模糊Retinex的阴影消除，《电子学报》2005年 第3期一种新的自适应图像模糊增强算法，《西安电子科技大学学报》2005年 第2期基于OAR模型的航空影像高层建筑自动提取，《深圳大学学报：理工版》2005年 第1期红外热图像序列中基于人体模型的目标头部定位方法，《激光与红外》2005年 第2期直线Snakes及其在建筑物提取中的应用，《西安电子科技大学学报》2005年 第1期网状被动传感器系统视线交叉目标定位方法，《电子与信息学报》2005年 第1期一种新的道路描述子：对称边缘方向直方图，《电子学报》2005年 第1期基于对称边缘方向直方图自动提取主要道路，《中国体视学与图像分析》2005年 第2期分布式被动传感器网异步采样下的机动目标跟踪，《系统仿真学报》2005年 第6期一种基于频带一致性的多模态图像校准算法，《通信学报》2005年 第4期基于模糊熵的自适应图像多层次模糊增强算法，《电子学报》2005年 第4期一种安全增强的基于椭圆曲线可验证门限签名方案，《计算机研究与发展》2005年 第4期密码学与数字水印在电子印章中的应用，《微机发展》2004年 第11期一种安全实用的电子公文系统设计与实现， 《现代电子技术》2004年 第21期基于DSP的PCI图像采集卡设计，《现代电子技术》2004年 第4期基于DSP组建短波电台无线数据传输网络的系统设计，《电子设计应用》2004年 第2期基于直方图的自适应高斯噪声滤波器，《系统工程与电子技术》2004年 第1期短波电台无线数据传输网络的组建，《现代电子技术》2004年 第3期半抑制式模糊C-均值聚类算法，《中国体视学与图像分析》2004年 第2期基于模糊推理的自动多级图像分割，《中国体视学与图像分析》2004年 第1期航空影像中立交桥的自动检测，《中国体视学与图像分析》2004年 第1期网状被动传感器系统航迹初始状态估计，《信号处理》2004年 第6期被动传感器系统分层快速关联算法，《电子学报》2004年 第12期一种基于模糊运算的多目标多传感器跟踪算法，《系统工程与电子技术》2004年 第11期异步被动传感器系统模糊Hough变换航迹起始算法，《系统工程与电子技术》2004年 第11期窗户纹理的时频描述及其在建筑物提取中的应用，《中国图象图形学报：A辑》2004年 第10期基于模糊熵的支撑矢量预选取方法，《复旦学报：自然科学版》2004年 第5期基于物方几何约束提取建筑物垂直边缘，《中国图象图形学报：A辑》2004年 第9期分布式网状被动传感器系统定位误差分析，《西安电子科技大学学报》2004年 第5期分布式网状被动传感器系统量测数据关联，《系统工程与电子技术》2004年 第12期基于核方法的分类型属性数据集模糊聚类算法，《华南理工大学学报：自然科学版》2004年 第9期基于模糊决策的密集多回波环境下航迹起始算法，《雷达与对抗》2004年 第3期红外传感器阵列基于信息冗余性的目标定位，《系统工程与电子技术》2004年 第8期基于核方法的模糊聚类算法，《西安电子科技大学学报》2004年 第4期一种用于模式识别的多色Voronoi图，《系统工程与电子技术》2004年 第7期基于DSP的短波电台无线数据传输网络实现，《深圳大学学报：理工版》2004年 第3期基于直方图的自适应图像去噪滤波器，《电子学报》2004年 第7期自适应模糊Hough变换，《电子学报》2004年 第6期基于主动秘密共享的安全容忍入侵方案，《兰州交通大学学报》2004年 第1期基于模糊熵的多值图像恢复方法，《西安电子科技大学学报》2004年 第2期