图像阈值分割毕业论文百度文库

姓名：寇世文 学号：21011110234 【嵌牛导读】：随着人工智能技术的不断发展，智能机器人领域也得到了空前的发展。尤其是深度神经网络广泛应用于视觉系统中后，取得了许多很明显的成效。对于自主移动机器人来说，视觉系统有着十分重要的作用，而图像分割技术更是在这个系统中担任着十分重要的角色。传统的图像分割技术基本上已经能够将图像的前景和后景分隔开来，但是近年来随着深度学习算法的发展，人们开始将其应用到图像分割中，提出了很多分割网络，也达到了很好的分割效果。在实现图像分割的基础上，人们还使得分割具有了语义类别和标签，就是现在的语义分割。本文在介绍了语义分割的基础上又引出了新的任务分割场景，实例分割和全景分割。并且介绍了最近研究的热点三维点云的语义分割问题，阐述了其实现的必要性。 【嵌牛鼻子】智能机器人，图像分割、语义分割、计算机视觉 【嵌牛提问】图像分割技术的传统常见方法 【嵌牛正文】 一、引言         计算机视觉，即computer vision，就是通过计算机来模拟人的视觉工作原理，来获取和完成一系列图像信息处理的机器。计算机视觉属于机器学习在视觉领域的应用，是一个多学科交叉的研究领域，其涉及数学、物理、生物、计算机工程等多个学科。 计算机视觉的主要应用有无人驾驶、人脸识别、无人安防、车辆车牌识别、智能传图、3D重构、VR/AR、智能拍照、医学图像处理、无人机、工业检测等。人驾驶又称自动驾驶，是目前人工智能领域一个比较重要的研究方向，让汽车可以进行自主驾驶，或者辅助驾驶员驾驶，提升驾驶操作的安全性。人脸识别技术目前已经研究得相对比较成熟，并在很多地方得到了应用，且人脸识别准确率目前已经高于人眼的识别准确率。安防一直是我国比较重视的问题，也是人们特别重视的问题，在很多重要地点都安排有巡警巡查，在居民小区以及公司一般也都有保安巡查来确保安全。车辆车牌识别目前已经是一种非诚成熟的技术了，高速路上的违章检测，车流分析，安全带识别，智能红绿灯，还有停车场的车辆身份识别等都用到了车辆车牌识别。3D重构之前在工业领域应用比较多，可以用于对三维物体进行建模，方便测量出物体的各种参数，或者对物体进行简单复制。计算机视觉还有很多应用，随着技术的发展，应用领域也会越来越多。在工业领域的应用，在机器人技术方面的应用等。 对于传统的图像分割过程，通常可以分为5个步骤，即特征感知、图像预处理、特征提取、特征筛选和推理预测与识别。通过研究发现，在视觉的早期的发展过程中，人们对于图像中的特征并没有表现出足够的关注。且传统的分割过程是把特征提取和分类分开来做的，等到需要输出结果的时候再结合到一起，可想而知其实现的困难程度。 在深度学习算法出来之后，卷积神经网络被广泛应用于计算机视觉技术中，也因此衍生出了很多的研究方向。深度学习主要是以特征为基础来进行比对，如在人脸识别方面，使用卷积神经网络分别对两张人脸进行不同位置的特征提取，然后再进行相互比对，最后得到比对结果。目前的计算机视觉的主要研究方向有图像分类、目标检测、图像分割、目标跟踪、图像滤波与降噪、图像增强、风格化、三维重建、图像检索、GAN等。本文主要是针对图像分割这一领域，进行简要的概述。 图像分割技术是计算机视觉领域的个重要的研究方向，是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程，从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。近些年来随着深度学习技术的逐步深入，图像分割技术有了突飞猛进的发展，该技术相关的场景物体分割、人体前背景分割、人脸人体Parsing、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。 二、发展现状         近来已经有很多学者将图像分割技术应用到移动机器人的控制中，能够做到在机器人运动的同时定位、构建地图并分割出不同的前景和后景，使视觉系统扫描到的图像具有语义信息。并有学者也致力于分割得更为准确和精细，不仅能够做到区分不同类的物体，也能够实现对同类的不同物体的分类，甚至可以做到在此基础上加上对背景的分割。由于我们生活的世界是三维空间，还有学者将图像场景还原到三维中，然后使用相关方法对整个三维场景进行分割。作为计算机视觉的研究中的一个较为经典的难题，图像分割这一领域也越来越被人们所关注。         首先是传统的图像分割方法。在传统分割方面，人们使用数字图像处理、拓扑学、数学等方面的知识来进行图像分割。虽然现在的算力逐渐增加且深度学习不断发展，一些传统的分割方法所取得的效果不如深度学习，但是其分割的思想仍有很多值得我们去学习的。         第一种方法是基于阈值的图像分割方法。这种方法的核心思想是想根据图像的灰度特征来给出一个或多个灰度阈值，将此阈值作为一个标准值与图像中的每个像素逐一进行比较。很容易想到，通过这个逐一比较过程能够得到两类结果，一类是灰度值大于阈值的像素点集，另一类是灰度值小于阈值的像素点集，从而很自然地将图像进行了分割。所以，不难发现，此方法的最关键的一步就是按照一定的准则函数来得到最佳灰度阈值，这样才能够得到合适的分类结果。值得一提的是，如果图像中需要分割的目标和背景分别占据了不同的灰度值甚至是不同的等级，那使用这种方法会得到很好的效果。并且，假如对于一张图像的处理，我们只需要设定一个阈值时，可以将其称为单阈值分割。但是图像中如果不止一个目标，即有多个目标需要进行提取的时候，单一阈值分割就无法做到将它们都分割开来，此时应选取多个阈值对其进行处理，这个分割的过程为多阈值分割。总的来说，阈值分割法有着其独特的特点，其计算简单、效率较高。但是，由于这种方法只考虑的是单个像素的灰度值及其特征，而完全忽略了空间特征，这也就导致了其对噪声比较敏感且鲁棒性不高。         第二种方法是基于区域的图像分割方法。这种方法具有两种基本形式：一种是区域生长，这种分割方法是从单个像素出发，逐渐将相似的区域进行合并，最终得到需要的区域。另一种方法是直接从图像的全局出发，一点一点逐步切割至所需要的区域。区域生长指的是，给定一组种子像素，其分别代表了不同的生长区域，然后让这些种子像素逐渐合并邻域里符合条件的像素点。如果有新的像素点添加进来，同样把它们作为种子像素来处理。         区域分裂合并的分割过程可以说是区域生长的逆过程，这种方法是从图像的全局出发通过不断分裂得到各个子区域，然后提取目标的过程。此外，在此过程中，还需要合并前景区域。         在区域分割方法中还有一种分水岭算法。受启发于分水岭的构成，这种分割方法将图像看作是测地学上的拓扑地貌，这样图像中每一个像素点对应的海拔高度可以用该点的灰度值来表示。分水岭的形成过程实际上可以通过模拟浸入过程来实现。具体做法是，在每个局部极小值的表面都刺穿一个小孔，然后把模型慢慢浸入水中，随着水慢慢浸入其中，分水岭就随之形成了。         第三种方法是基于边缘检测的分割方法。边缘检测的思想就是试图通过检测不同物体的边缘来将图像分割开来，这种方法是人们最先想到的也是研究最多的方法之一。如果我们将图片从空间域变换到频率域中去，其中物体的边缘部分就对应着高频部分，很容易就能够找到边缘信息，因此也使得分割问题变得容易。边缘检测的方法能够实现快而且准确的定位，但是其不能保证边缘的连续性和封闭性，且当一幅图像的细节信息过多时，其就会在边缘处产生大量的细碎边缘，在形成完整的分割区域时就会有缺陷。         第四种图像分割方法结合了特定的工具。这里所说的特定工具是各种图像处理工具以及算法等，随着图像分割研究工作的深入，很多学者开始将一些图像处理的工具和一些算法应用到此工作中，并取得了不错的结果。小波变换在数字图像处理中发挥着很重要的作用，它能够将时域和频域统一起来研究信号。尤其是在图像边缘检测方面，小波变换能够检测二元函数的局部突变能力。其次是基于遗传算法的图像分割，遗传算法主要借鉴了生物界自然选择和自然遗传机制的随机化搜索方法。其模拟了由基因序列控制的生物群体的进化过程，其擅长于全局搜索，但是局部搜多能力不足。将遗传算法应用到图像处理中也是当前研究的一个热点问题，在此选择这种方法的主要原因是遗传算法具有快速的随机搜索能力，而且其搜索能力与问题的领域没有任何关系。         除此之外，还有基于主动轮廓模型的分割方法，这种方法具有统一的开放式的描述形式，为图像分割技术的研究和创新提供了理想的框架。此方法也是对边缘信息进行检测的一种方法，主要是在给定图像中利用曲线演化来检测目标。

图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。 图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。 基本原理是：通过设定不同的特征阈值，把图像象素点分为若干类。 常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征。 设原始图像为f(x，y)，按照一定的准则f(x，y)中找到特征值T，将图像分割为两个部分，分割后的图像为： 若取：b0=0(黑)，b1=1(白)，即为我们通常所说的图像二值化。 阈值分割方法实际上是输入图像f到输出图像g的如下变换： 其中，T为阈值，对于物体的图像元素g(i,j)=1，对于背景的图像元素g(i,j)=0。 由此可见，阈值分割算法的关键是确定阈值，如果能确定一个合适的阈值就可准确地将图像分割开来。阈值确定后，将阈值与像素点的灰度值逐个进行比较，而且像素分割可对各像素并行地进行，分割的结果直接给出图像区域。 阈值分割的优点是计算简单、运算效率较高、速度快。有着各种各样的阈值处理技术，包括全局阈值、自适应阈值、最佳阈值等等。 阈值处理技术参看： 区域分割是讲图像按照相似性准则分成不同的区域，主要包括区域增长，区域分裂合并和分水岭等几种类型。 区域生长是一种串行区域分割的图像分割方法。区域生长是指从某个像素出发，按照一定的准则，逐步加入邻近像素，当满足一定的条件时，区域生长终止。区域生长的好坏决定于1. 初始点（种子点）的选取。 2. 生长准则。 3. 终止条件 。区域生长是从某个或者某些像素点出发，最后得到整个区域，进而实现目标的提取。 区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。 区域生长需要选择一组能正确代表所需区域的种子像素，确定在生长过程中的相似性准则，制定让生长停止的条件或准则。相似性准则可以是灰度级、彩色、纹理、梯度等特性。选取的种子像素可以是单个像素，也可以是包含若干个像素的小区域。大部分区域生长准则使用图像的局部性质。生长准则可根据不同原则制定，而使用不同的生长准则会影响区域生长的过程。 图1是区域增长的示例。 区域生长是一种古老的图像分割方法，最早的区域生长图像分割方法是由Levine等人提出的。该方法一般有两种方式，一种是先给定图像中要分割的目标物体内的一个小块或者说种子区域(seed point)，再在种子区域基础上不断将其周围的像素点以一定的规则加入其中，达到最终将代表该物体的所有像素点结合成一个区域的目的；另一种是先将图像分割成很多的一致性较强，如区域内像素灰度值相同的小区域，再按一定的规则将小区域融合成大区域，达到分割图像的目的，典型的区域生长法如T. C. Pong等人提出的基于小面（facet）模型的区域生长法，区域生长法固有的缺点是往往会造成过度分割，即将图像分割成过多的区域 区域生长实现的步骤如下: 区域分裂合并算法的基本思想是先确定一个分裂合并的准则，即区域特征一致性的测度，当图像中某个区域的特征不一致时就将该区域分裂成4个相等的子区域，当相邻的子区域满足一致性特征时则将它们合成一个大区域，直至所有区域不再满足分裂合并的条件为止。当分裂到不能再分的情况时，分裂结束，然后它将查找相邻区域有没有相似的特征，如果有就将相似区域进行合并，最后达到分割的作用。在一定程度上区域生长和区域分裂合并算法有异曲同工之妙，互相促进相辅相成的，区域分裂到极致就是分割成单一像素点，然后按照一定的测量准则进行合并，在一定程度上可以认为是单一像素点的区域生长方法。区域生长比区域分裂合并的方法节省了分裂的过程，而区域分裂合并的方法可以在较大的一个相似区域基础上再进行相似合并，而区域生长只能从单一像素点出发进行生长（合并）。 反复进行拆分和聚合以满足限制条件的算法。 令R表示整幅图像区域并选择一个谓词P。对R进行分割的一种方法是反复将分割得到的结果图像再次分为四个区域，直到对任何区域Ri，有P(Ri)=TRUE。这里是从整幅图像开始。如果P(R)=FALSE，就将图像分割为4个区域。对任何区域如果P的值是FALSE．就将这4个区域的每个区域再次分别分为4个区域，如此不断继续下去。这种特殊的分割技术用所谓的四叉树形式表示最为方便(就是说，每个非叶子节点正好有4个子树)，这正如图10.42中说明的树那样。注意，树的根对应于整幅图像，每个节点对应于划分的子部分。此时，只有R4进行了进一步的再细分。 如果只使用拆分，最后的分区可能会包含具有相同性质的相邻区域。这种缺陷可以通过进行拆分的同时也允许进行区域聚合来得到矫正。就是说，只有在P(Rj∪Rk)=TRUE时，两个相邻的区域Rj和Rk才能聚合。 前面的讨论可以总结为如下过程。在反复操作的每一步，我们需要做： 可以对前面讲述的基本思想进行几种变化。例如，一种可能的变化是开始时将图像拆分为一组图象块。然后对每个块进一步进行上述拆分，但聚合操作开始时受只能将4个块并为一组的限制。这4个块是四叉树表示法中节点的后代且都满足谓词P。当不能再进行此类聚合时，这个过程终止于满足步骤2的最后的区域聚合。在这种情况下，聚合的区域可能会大小不同。这种方法的主要优点是对于拆分和聚合都使用同样的四叉树，直到聚合的最后一步。 分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。 分水岭的计算过程是一个迭代标注过程。分水岭比较经典的计算方法是L. Vincent提出的。在该算法中，分水岭计算分两个步骤，一个是排序过程，一个是淹没过程。首先对每个像素的灰度级进行从低到高排序，然后在从低到高实现淹没过程中，对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注。 分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点，即为分水岭。显然，分水岭表示的是输入图像极大值点。因此，为得到图像的边缘信息，通常把梯度图像作为输入图像，即 分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化，都会产生过度分割的现象。但同时应当看出，分水岭算法对微弱边缘具有良好的响应，是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区域特征提供了可能。 为消除分水岭算法产生的过度分割，通常可以采用两种处理方法，一是利用先验知识去除无关边缘信息。二是修改梯度函数使得集水盆只响应想要探测的目标。 为降低分水岭算法产生的过度分割，通常要对梯度函数进行修改，一个简单的方法是对梯度图像进行阈值处理，以消除灰度的微小变化产生的过度分割。即 程序可采用方法：用阈值限制梯度图像以达到消除灰度值的微小变化产生的过度分割，获得适量的区域，再对这些区域的边缘点的灰度级进行从低到高排序，然后在从低到高实现淹没的过程，梯度图像用Sobel算子计算获得。对梯度图像进行阈值处理时，选取合适的阈值对最终分割的图像有很大影响，因此阈值的选取是图像分割效果好坏的一个关键。缺点：实际图像中可能含有微弱的边缘，灰度变化的数值差别不是特别明显，选取阈值过大可能会消去这些微弱边缘。 参考文章： 图像分割的一种重要途径是通过边缘检测，即检测灰度级或者结构具有突变的地方，表明一个区域的终结，也是另一个区域开始的地方。这种不连续性称为边缘。不同的图像灰度不同，边界处一般有明显的边缘，利用此特征可以分割图像。 图像中边缘处像素的灰度值不连续，这种不连续性可通过求导数来检测到。对于阶跃状边缘，其位置对应一阶导数的极值点，对应二阶导数的过零点(零交叉点)。因此常用微分算子进行边缘检测。常用的一阶微分算子有Roberts算子、Prewitt算子和Sobel算子，二阶微分算子有Laplace算子和Kirsh算子等。在实际中各种微分算子常用小区域模板来表示，微分运算是利用模板和图像卷积来实现。这些算子对噪声敏感，只适合于噪声较小不太复杂的图像。 由于边缘和噪声都是灰度不连续点，在频域均为高频分量，直接采用微分运算难以克服噪声的影响。因此用微分算子检测边缘前要对图像进行平滑滤波。LoG算子和Canny算子是具有平滑功能的二阶和一阶微分算子，边缘检测效果较好， 在边缘检测算法中，前三个步骤用得十分普遍。这是因为大多数场合下，仅仅需要边缘检测器指出边缘出现在图像某一像素点的附近，而没有必要指出边缘的精确位置或方向．边缘检测误差通常是指边缘误分类误差，即把假边缘判别成边缘而保留，而把真边缘判别成假边缘而去掉．边缘估计误差是用概率统计模型来描述边缘的位置和方向误差的．我们将边缘检测误差和边缘估计误差区分开，是因为它们的计算方法完全不同，其误差模型也完全不同． Roberts算子 ：边缘定位准，但是对噪声敏感。适用于边缘明显且噪声较少的图像分割。Roberts边缘检测算子是一种利用局部差分算子寻找边缘的算子,Robert算子图像处理后结果边缘不是很平滑。经分析，由于Robert算子通常会在图像边缘附近的区域内产生较宽的响应，故采用上述算子检测的边缘图像常需做细化处理，边缘定位的精度不是很高。 Prewitt算子 ：对噪声有抑制作用，抑制噪声的原理是通过像素平均，但是像素平均相当于对图像的低通滤波，所以Prewitt算子对边缘的定位不如Roberts算子。 Sobel算子 ：Sobel算子和Prewitt算子都是加权平均，但是Sobel算子认为，邻域的像素对当前像素产生的影响不是等价的，所以距离不同的像素具有不同的权值，对算子结果产生的影响也不同。一般来说，距离越远，产生的影响越小。 Isotropic Sobel算子 ：加权平均算子，权值反比于邻点与中心点的距离，当沿不同方向检测边缘时梯度幅度一致，就是通常所说的各向同性。 在边沿检测中，常用的一种模板是Sobel 算子。Sobel 算子有两个，一个是检测水平边沿的；另一个是检测垂直平边沿的 。Sobel算子另一种形式是各向同性Sobel(Isotropic Sobel)算子，也有两个，一个是检测水平边沿的，另一个是检测垂直平边沿的 。各向同性Sobel算子和普通Sobel算子相比，它的位置加权系数更为准确，在检测不同方向的边沿时梯度的幅度一致。由于建筑物图像的特殊性，我们可以发现，处理该类型图像轮廓时，并不需要对梯度方向进行运算，所以程序并没有给出各向同性Sobel算子的处理方法。 1971年，R.Kirsch[34]提出了一种能检测边缘方向的Kirsch算子新方法：它使用了8个模板来确定梯度幅度值和梯度的方向。 图像中的每个点都用8个掩模进行卷积，每个掩模对某个特定边缘方向作出最大响应。所有8个方向中的最大值作为边缘幅度图像的输出。最大响应掩模的序号构成了对边缘方向的编码。 Kirsch算子的梯度幅度值用如下公式： 不同检测算子的对比： 参考文章： 文章引用于 木夜溯 编辑 Lornatang 校准 Lornatang