图像中的目标检测论文

运动目标检测与跟踪算法研究 视觉是人类感知自身周围复杂环境最直接有效的手段之一， 而在现实生活中 大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能 够快速的发现运动目标， 并对目标的运动轨迹进行预测和描绘。 随着计算机技术、 通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之 一。 而运动目标检测与跟踪是计算机视觉研究的核心课题之一， 融合了图像处理、 模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、 视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实 用价值和广阔的发展前景。 1、国内外研究现状 1.1 运动目标检测 运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。 根据运动目标与摄像机之间的关系， 运动目标检测分为静态背景下的运动目标检 测和动态背景下的运动目标检测。 静态背景下的运动目标检测是指摄像机在整个 监视过程中不发生移动； 动态背景下的运动目标检测是指摄像机在监视过程中发 生了移动，如平动、旋转或多自由度运动等。 静态背景 静态背景下的运动目标检测方法主要有以下几种： （1）背景差分法 背景差分法是目前最常用的一种目标检测方法， 其基本思想就是首先获得一个 背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断 此像素属于运动目标，否则属于背景图像。利用当前图像与背景图像的差分来检 测运动区域，一般能够提供比较完整的特征数据，但对于动态场景的变化，如光 照和外来无关事件的干扰等特别敏感。 很多研究人员目前都致力于开发不同的背 景模型，以减少动态场景变化对运动目标检测的影响。背景模型的建立与更新、 阴影的去除等对跟踪结果的好坏至关重要。 背景差分法的实现简单，在固定背景下能够完整地精确、快速地分割出运动 对象。不足之处是易受环境光线变化的影响，需要加入背景图像更新机制，且只 对背景已知的运动对象检测比较有效， 不适用于摄像头运动或者背景灰度变化很 大的情况。 （2）帧间差分法 帧间差分法是在连续的图像序列中两个或三个相邻帧间， 采用基于像素的时 间差分并阈值化来提取图像中的运动区域。 帧间差分法对动态环境具有较强的自 适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产 生空洞现象。因此在相邻帧间差分法的基础上提出了对称差分法，它是对图像序 列中每连续三帧图像进行对称差分，检测出目标的运动范围，同时利用上一帧分 割出来的模板对检测出来的目标运动范围进行修正， 从而能较好地检测出中间帧 运动目标的形状轮廓。 帧间差分法非常适合于动态变化的环境，因为它只对运动物体敏感。实际上 它只检测相对运动的物体，而且因两幅图像的时间间隔较短，差分图像受光线 变化影响小，检测有效而稳定。该算法简单、速度快，已得到广泛应用。虽然该 方法不能够完整地分割运动对象，只能检测出物体运动变化的区域，但所检测出 的物体运动信息仍可用于进一步的目标分割。 （3）光流法 光流法就充分的利用了图像自身所携带的信息。在空间中,运动可以用运动 场描述,而在一个图像平面上,物体的运动往往是通过图像序列中图像灰度分布 的不同来体现,从而使空间中的运动场转移到图像上就表示为光流场。所谓光流 是指空间中物体被观测面上的像素点运动产生的瞬时速度场， 包含了物体表面结 构和动态行为等重要信息。 基于光流法的运动目标检测采用了运动目标随时间变 化的光流特性，由于光流不仅包含了被观测物体的运动信息，还携带了物体运动 和景物三位结构的丰富信息。 在比较理想的情况下,它能够检测独立运动的对象, 不需要预先知道场景的任何信息,可以很精确地计算出运动物体的速度,并且可 用于动态场景的情况。 但是大多数光流方法的计算相当复杂,对硬件要求比较高, 不适于实时处理,而且对噪声比较敏感,抗噪性差。并且由于遮挡、多光源、透明 性及噪声等原因，使得光流场基本方程——灰度守恒的假设条件无法满足，不能 正确求出光流场，计算方也相当复杂，计算量巨大，不能满足实时的要求。 动态背景 动态背景下的运动目标检测由于存在着目标与摄像机之间复杂的相对运动， 检测方法要比静态背景下的运动目标检测方法复杂。常用的检测方法有匹配法、 光流法以及全局运动估计法等。 2、运动目标跟踪 运动目标跟踪是确定同一物体在图像序列的不同帧中的位置的过程。 近年来 出现了大批运动目标跟踪方法，许多文献对这些方法进行了分类介绍，可将目标 跟踪方法分为四类：基于区域的跟踪、基于特征的跟踪、基于活动轮廓的跟踪、 基于模型的跟踪，这种分类方法概括了目前大多数跟踪方法，下面用这种分类方 法对目前的跟踪方法进行概括介绍。 (1)基于区域的跟踪 基于区域的跟踪方法基本思想是： 首先通过图像分割或预先人为确定提取包 含目标区域的模板，并设定一个相似性度量，然后在序列图像中搜索目标，把度 量取极值时对应的区域作为对应帧中的目标区域。 由于提取的目标模板包含了较 完整的目标信息，该方法在目标未被遮挡时，跟踪精度非常高，跟踪非常稳定， 但通常比较耗时，特别是当目标区域较大时，因此一般应用于跟踪较小的目标或 对比度较差的目标。该方法还可以和多种预测算法结合使用，如卡尔曼预测、粒 子预测等，以估计每帧图像中目标的位置。近年来，对基于区域的跟踪方法关注 较多的是如何处理运动目标姿态变化引起的模板变化时的情况以及目标被严重 遮挡时的情况。 (2)基于特征的跟踪 基于特征的跟踪方法基本思想是：首先提取目标的某个或某些局部特征，然 后利用某种匹配算法在图像序列中进行特征匹配，从而实现对目标的跟踪。该方 法的优点是即使目标部分被遮挡，只要还有一部分特征可以被看到，就可以完成 跟踪任务，另外，该方法还可与卡尔曼滤波器结合使用，实时性较好，因此常用 于复杂场景下对运动目标的实时、 鲁棒跟踪。 用于跟踪的特征很多， 如角点边缘、 形状、纹理、颜色等，如何从众多的特征中选取最具区分性、最稳定的特征是基 于特征的跟踪方法的关键和难点所在。 (3)基于活动轮廓的跟踪 基于活动轮廓的跟踪方法基本思想是：利用封闭的曲线轮廓表达运动目标， 结合图像特征、曲线轮廓构造能量函数，通过求解极小化能量实现曲线轮廓的自 动连续更新，从而实现对目标的跟踪。自Kass在1987年提出Snake模型以来，基 于活动轮廓的方法就开始广泛应用于目标跟踪领域。相对于基于区域的跟踪方 法，轮廓表达有减少复杂度的优点，而且在目标被部分遮挡的情况下也能连续的 进行跟踪，但是该方法的跟踪结果受初始化影响较大，对噪声也较为敏感。 (4)基于模型的跟踪 基于模型的跟踪方法基本思想是： 首先通过一定的先验知识对所跟踪目标建 立模型，然后通过匹配跟踪目标，并进行模型的实时更新。通常利用测量、CAD 工具和计算机视觉技术建立模型。主要有三种形式的模型，即线图模型、二维轮 廓模型和三维立体模型口61，应用较多的是运动目标的三维立体模型，尤其是对 刚体目标如汽车的跟踪。该方法的优点是可以精确分析目标的运动轨迹，即使在 目标姿态变化和部分遮挡的情况下也能够可靠的跟踪， 但跟踪精度取决于模型的 精度，而在现实生活中要获得所有运动目标的精确模型是非常困难的。 目标检测算法，至今已提出了数千种各种类型的算法，而且每年都有上百篇相 关的研究论文或报告发表。尽管人们在目标检测或图像分割等方面做了许多研 究，现己提出的分割算法大都是针对具体问题的，并没有一种适合于所有情况的 通用算法。 目前， 比较经典的运动目标检测算法有： 双帧差分法、 三帧差分法(对 称差分法)、背景差法、光流法等方法，这些方法之间并不是完全独立，而是可 以相互交融的。 目标跟踪的主要目的就是要建立目标运动的时域模型， 其算法的优劣直接影响 着运动目标跟踪的稳定性和精确度， 虽然对运动目标跟踪理论的研究已经进行了 很多年，但至今它仍然是计算机视觉等领域的研究热点问题之一。研究一种鲁棒 性好、精确、高性能的运动目标跟踪方法依然是该研究领域所面临的一个巨大挑 战。基于此目的，系统必须对每个独立的目标进行持续的跟踪。为了实现对复杂 环境中运动目标快速、稳定的跟踪，人们提出了众多算法，但先前的许多算法都 是针对刚体目标，或是将形变较小的非刚体近似为刚体目标进行跟踪，因而这些 算法难以实现对形状变化较大的非刚体目标的正确跟踪。 根据跟踪算法所用的预 测技术来划分，目前主要的跟踪算法有：基于均值漂移的方法、基于遗传算法的 方法、基于Kalman滤波器的方法、基于Monto Carlo的方法以及多假设跟踪的方 法等。 运动检测与目标跟踪算法模块 运动检测与目标跟踪算法模块 与目标跟踪 一、运动检测算法 1.算法效果 算法效果总体来说，对比度高的视频检测效果要优于对比度低的视频。 算法可以比较好地去除目标周围的浅影子，浅影的去除率在 80%以上。去影后目标的 完整性可以得到较好的保持，在 80%以上。在对比度比较高的环境中可以准确地识别较大 的滞留物或盗移物。 从对目标的检测率上来说，对小目标较难进行检测。一般目标小于 40 个像素就会被漏 掉。对于对比度不高的目标会检测不完整。总体上来说，算法在对比度较高的环境中漏检率 都较低，在 0.1%以下，在对比度不高或有小目标的场景下漏检率在 6%以下。 精细运动检测的目的是在较理想的环境下尽量精确地提取目标的轮廓和区域， 以供高层 进行应用。同时在分离距离较近目标和进行其它信息的进一步判断也具有一定的优势。 反映算法优缺点的详细效果如下所示： 去影子和完整性 效果好 公司内视频 左边的为去影前，右边的 为去影后的结果，可以看出在 完整 性和去影率上 都有所 突 出。 这两个视频的共周特点 城市交通 是，影子都是浅影子，视频噪 声不太明显。目标与背景的对 比度比较高。 效果差 这两个视频的特点是影子 都是深影子。虽然影子没有去 掉，但是物体的完整性是比较 高的。主要原因就是场景的对 路口，上午 十点 比度比较高。 滞留物检测和稳定性 效果好 会议室盗移 效果好的原因，一是盗移或 滞留目标与背景对比度较大，二 是目标本身尺寸较大。 另外盗移物或滞留物在保持 各自的状态期间不能受到光照变 化或其它明显运动目标的干扰， 要不然有可能会造成判断的不稳 定。 效果差 会议室 遗留 物 大部分时间内，滞留的判断 都是较稳定的，但是在后期出现 了不稳定。主要原因是目标太小 的原故。 因此在进行滞留物判断时， 大目标，对比度较高的环境有利 于判断的稳定性和准确性。 漏检率 效果好 城市交通 在对比度高的环境下， 目标相对都较大的情况下 （大于 40 个像素） 可以很 ， 稳定的检测出目标。 在这种 条件下的漏检率通常都是 非常低的，在 0.1%以下。 效果差 行人－傍晚 和“行人”目录下 的 其 它 昏 暗 条件 下的视频 在对 比度较低的 情况 下，会造成检测结果不稳 定。漏检率较高。主要原因 是由于去影子造成的。 这种 对比度下的漏检率一般在 6%以下。 除了 对比度低是 造成 漏检的原因外， 过小的目标 也会造成漏检，一般是 40 个像素以下的目标都会被 忽略掉。 1.2 算法效率内存消耗（单位：b） .MD_ISRAM_data .MD_ISRAM_bss .MD_SDRAM_data 0x470 0x24 0x348 .MD_SDRAM_bss .MD_text 0x1a8480 0x6d40 速度 ms 运动区域占 2/3 左右时 CPU 占用率 一帧耗时 Max:57% Min:2.8% Avg:37.5% Max:23 Min:1.14 Avg:15 运动区域占 1/3 左右时 Max:45% Min:2.8% Avg:20% Max:18 Min:1.14 Avg:8 1.3 检测参数说明 检测参数说明 检测到的滞留物或盗走物的消失时间目前分别设定在 200 帧和 100 帧， 可以通过参数来 自行调整。 目前目标与背景的差异是根据局部光照强度所决定的， 范围在 4 个像素值以上。 目前参 数设置要求目标大小要在 20 个像素以上才能被检测到，可以通过参数来自行调整。 目标阴影的去除能力是可以调整的， 目前的参数设置可以去除大部分的浅影子和较小的 光照变化。 1.4 适用环境推荐光照条件较好（具有一定的对比度）的室内环境或室外环境。不易用它去检测过小的目 标，比如小于 40 个像素的目标。室外环境不易太复杂。输出目标为精细轮廓目标，可以为 后面高层应用提供良好的信息。 二、目标跟踪 2.1 稳定运行环境要求此版本跟踪算法与运动检测算法紧密结合， 对相机的架设和视频的背景环境和运动目标 数量运动方式有一定要求： 背景要求： 由于运动跟踪是基于运动检测的结果进行的， 所以对背景的要求和运动检测一样， 背景要求： 运动目标相对于背景要有一定反差。 运动目标：由于运动检测中，对较小的目标可能过滤掉。所以运动目标的大小要符合运动检 运动目标： 测的要求。运动目标的速度不能太大，要保证前后帧运动目标的重合面积大于 10 个像素。此阈值可修改(建议不要随意修改，过小，可能把碎片当成原目标分 裂出来的小目标，过大，可能失去跟踪。当然可试着调节以适应不同场景)。该 算法对由于运动检测在地面上产生的碎片抗干扰性比较差， 运动目标和碎片相遇 时，容易发生融合又分离的现象，造成轨迹混乱。消失目标和新生目标很容易当 成同一目标处理，所以可能出现一个新目标继承新生目标的轨迹。 运动方式： 运动目标的最大数量由外部设定。 但运动跟踪对运动目标比较稀疏的场景效果比 运动方式： 较好。 算法对由于运动检测在运动目标上产生的碎片有一定的抗干扰。 算法没对 物体的遮挡进行处理。对于两运动目标之间的遮挡按融合来处理。 拍摄角度： 拍摄角度：拍摄视野比较大，且最好是俯视拍摄。

有一个月没更博客了，捂脸 o(￣=￣)d

端午回家休息了几天，6月要加油~

回到正文，HOG是很经典的一种图像特征提取方法，尤其是在行人识别领域被应用的很多。虽然文章是2005年发表在CVPR上的，但近十年来还没有被淹没的文章真的是很值得阅读的研究成果了。

key idea： 局部物体的形状和外观可以通过局部梯度或者边缘的密度分布所表示。

主要步骤：

上图为论文中提供的图，个人觉得我在参考资料中列出的那篇 博客 中给出的图可能更好理解一些。

具体细节： 关于每一个过程的详细解释还是在 这篇博客 中已经写得很清楚了，这里就不再搬运了。

文章中数据集的图像大小均为：64*128, block大小为16x16， block stride为8x8，cell size为8x8，bins=9（直方图等级数）；

获取到每张图的特征维度后，再用线性SVM训练分类器即可。

下图为作者而给出的示例图：

这两篇博客写的都很好，推荐阅读一波。

能不能给我发一份呢？