关于图像分割综述论文范文资料

图像分类作为计算机视觉领域的基础任务，经过大量的研究与试验，已经取得了傲人的成绩。然而，现有的分类任务大多是以单标签分类展开研究的。当图片中有多个标签时，又该如何进行分类呢？本篇综述将带领大家了解多标签图像分类这一方向，了解更具难度的图像分类。 作者 | 郭冰洋 编辑 | 言有三 随着科学技术的进步与发展，图像作为信息传播的重要媒介，在通信、无人驾驶、医学影像分析、航天、遥感等多个领域得到了广泛的研究，并在国民社会、经济生活中承担着更加重要的角色。人们对图像研究的愈发重视，也促使计算机视觉领域迎来了蓬勃发展的黄金时代。 作为计算机视觉领域的基础性任务，图像分类是目标检测、语义分割的重要支撑，其目标是将不同的图像划分到不同的类别，并实现最小的分类误差。经过近30年的研究，图像分类已经成功应用至社会生活的方方面面。如今，在我们的生活中随处可见——智能手机的相册自动分类、产品缺陷识别、无人驾驶等等。 根据分类任务的目标不同，可以将图像分类任务划分成两部分:（1）单标签图像分类；（2）多标签图像分类。 单标签图像分类是指每张图片对应一个类别标签，根据物体类别的数量，又可以将单标签图像分类划分成二分类、多类别分类。如下图所示，可以将该图的标签记为海洋，通过单标签图像分类我们可以判定该图像中是否含有海洋。 然而，现实生活中的图片中往往包含多个类别的物体，这也更加符合人的认知习惯。我们再来观察下图，可以发现图中不仅包含海洋，还包括了海豚。多标签图像分类可以告知我们图像中是否同时包含这些内容，这也能够更好地解决实际生活中的问题。 机器学习算法主要包括两个解决思路： (1) 问题迁移，即将多标签分类问题转化为单标签分类问题，如将标签转化为向量、训练多个分类器等； (2) 根据多标签特点，提出新的适应性算法，包括ML-KNN、Ranking SVM、Multi-label Decision Tree等。现对其中具有代表性的算法进行总结。 问题迁移 问题迁移方法的主要思想是先将多标签数据集用某种方式转换成单标签数据集，然后运用单标签分类方法进行分类。该方法有可以包括基于标签转换和基于样本实例转换。 基于标签转换 针对每个标签，将属于这个标签的所有实例分为一类，不属于的分为另一类，将所有数据转换为多个单标签分类问题(如下图)。典型算法主要有Binary Relevance和Classifier Chain两种。 基于样本实例转换 这种方法是将多标签实例分解成多个单标签实例。如下图所示。实例E3对应标签y3和y4，则通过分解多标签方法法将E3分解成单独选中标签y3和y4的实例，然后对每一个标签作单独预测。  适应性方法 如上文所述，新的适应性算法是根据多标签分类的特殊性，改进现有的单标签分类算法，主要包括以下三种： ML-KNN ML-KNN由传统的KNN算法发展而来。首先通过KNN算法得到样本最接近的K个邻近样本，然后根据K个邻近样本的标签，统计属于某一标签的邻近样本个数，最后利用最大后验概率原则（MAP）决定测试样本含有的标签集合。 Rank SVM Rank SVM是在SVM的基础上，加入Ranking Loss损失函数和相应的边际函数作为约束条件，并扩展目标函数而提出的一种多标签学习算法。该算法的简要思路是：首先定义函数s(x)是样本x的标签集的规模大小，然后定义rk(x)=wkTx+bk，如果求得的rk(x)值在最大的s(x)个元素(r1(x),...rQ(x))之间，则认为该样本x选中该标签k，否则就没被选中。在求解过程中定义新的排序函数rk(x)-rl(x)≥1，其中k表示被样本x选中的标签，l表示没有被选中的标签，并基于这个新的排序函来大间隔分类器，同时最小化Ranking Loss，从而推导出适合多标签分类的目标函数和限制条件。 Multi-label Decision Tree 该算法采用决策树技术处理多标签数据，利用基于多标签熵的信息增益准则递归地构建决策树。树形结构包括非叶结点、分支、叶节点。决策树模型用于分类时，特征属性用非叶节点表示，特征属性在某个值域上的输出用非叶节点之间的分支表示，而类别则用叶节点存放。 计算思想如下：首先计算每个特征的信息增益，挑选增益最大的特征来划分样本为左右子集，递归下去，直到满足停止条件，完成决策树的构建。对新的测试样本，沿根节点遍历一条路径到叶子节点，计算叶子节点样本子集中每个标签为0和1的概率，概率超过则表示含有该标签。当遍历所有路径到底不同的叶节点之后，则可判断涵盖的所有标签信息。 除了上述三类主要算法外，还包括诸多以单标签分类进行改进的算法，在此不再赘述。 深度学习的发展带动了图像分类精度的大幅提升，神经网络强大的非线性表征能力可以在大规模数据中学习到更加有效的特征。近年来，多标签图像分类也开始使用深度学习的思想展开研究。 魏云超等在程明明教授提出的BING理论基础上，提出了Hypotheses-CNN-Pooling。首先对每张图片提取含有标签信息的候选区域（如上图中的Hypotheses Extraction过程），然后将每个候选区域送入CNN进行分类训练，最后利用cross-hypothesis max-pooling融合所有候选区域的分类结果，从而得到多个标签信息完整的图片。 CNN具有强大的语义信息提取能力，而RNN则可以建立信息之间的关联。根据这一理论观点，Jiang Wang等提出了CNN-RNN联合的网络结构。首先利用CNN对输入图像进行训练，得到相应的特征，然后将图片对应的特征投影到与标签一致的空间中，在该空间利用RNN进行单词的搜索训练。该算法充分考虑了类别之间的相关性，可以有效对图像中具有一定关系的标签进行识别。 在CNN-RNN结构的基础上，后续文章又加入Regional LSTM模块。该模块可以对CNN的特征进行导向处理，从而获取特征的位置信息，并计算位置信息和标签之间的相关性。在上文的结果上进一步考虑了特征、位置和标签之间潜在的依赖关系，可以有效计算图片中多个标签同时存在的可能性，并进行图片的分类。 最近，诸多基于image-level进行弱监督分割研究的文章，充分利用了多标签分类网络的信息。其主要思想是将标签统一处理为向量形式，为每幅图片构建一个维度为1xN的矩阵标签（如[0,0,0,1,1,0]形式），并采用专门的损失函数(Hanming loss、Ranking loss等)进行训练。这一方法成功地将多标签的复杂问题，转化为单标签问题，从而可以利用传统的分类网络进行训练。 多标签图像分类的相关算法仍然层出不穷，但不论是基于机器学习还是基于深度学习的算法，都有其优势和不足，如何根据实际应用需求选用合适的算法，才是我们应当关注的重点内容。 单标签分类中通常采用准确率(Precision)，召回率(Recall)、F值(F-measure)和AUC曲线对分类结果进行评价。然而，在多标签分类中一个图片与多个标签同时关联，其复杂程度远远高于单标签分类。因此，在继承单标签分类评价指标的基础上，许多关于多标签分类的评价指标也被提出。在这里只介绍多标签分类常用的指标，有关单标签分类的指标不再赘述。 平均准确率(AP)和平均准确率均值(mAP) 同单标签分类一样，当一张图片中的所有标记均预测正确时，准确率才可以置1，否则置零。每个类别下的标签分别进行计算后，取其平均值即可获得平均准确率，对所有平均准确率取均值即可获得平均准确率均值。平均准确率可以衡量模型在每个类别的好坏程度，而平均准确率均值则衡量的是在所有类别的好坏程度。 汉明距离 将预测的标签集合与实际的标签集合进行对比，按照汉明距离的相似度来衡量。汉明距离的相似度越高，即汉明损失函数越小，则模型的准确率越高。 1-错误率 1-错误率用来计算预测结果中排序第一的标签不属于实际标签集中的概率。其思想相当于单标签分类问题中的错误率评价指标。1-错误率越小，说明预测结果越接近实际标签，模型的预测结果也就越好。 覆盖率 覆盖率用来度量“排序好的标签列表”平均需要移动多少步数，才能覆盖真实的相关标签集合。对预测集合Y中的所有标签{y1，y2，… yi … yn}进行排序，并返回标签yi在排序表中的排名，排名越高，则相关性越差，反之，相关性越高。 排序损失 排序损失计算的是不相关标签比相关标签的相关性还要大的概率。 高质量的数据集是图像分类的基础，更是关键所在。随着人们对数据质量的重视程度越来越高，如今已有诸多完备的多标签图像分类数据集。 Pascal VOC Pascal VOC数据集的主要任务是在真实场景中识别来自多个类别的目标。该数据集共有近两万张图片，共有20个类别组成。Pascal VOC官方对每张图片都进行了详细的信息标注，包括类别信息、边界框信息和语义信息，均保存在相应的xml格式文件中。通过读取xml文件中的项，我们可以获取到单张图片中包含的多个物体类别信息，从而构建多标签信息集合并进行分类训练。 COCO COCO(Common Objects in Context)数据集由微软公司赞助搭建。该数据集包含了91个类别，三十余万张图片以及近二百五十万个标签。与Pascal VOC相类似，COCO数据的标注信息均保存在图片对应的json格式文件中。通过读取json文件中的annotation字段，可以获取其中的category_id项，从而获取图片中的类别信息。同一json文件中包含多个category_id项，可以帮助我们构建多标签信息。COCO数据集的类别虽然远远大于Pascal VOC，而且每一类包含的图像更多，这也更有利于特定场景下的特征学习。 除了上述两个个主流数据集之外，比较常用的还包括ImageNet数据集、NUS-WIDE数据集。近年来，诸多公司、科研机构也提出了诸多全新的数据集，如ML-Images等。这些标注完善的数据，为多标签图像分类的研究提供了有力的支持，同样也为图像处理领域的发展做出了巨大贡献。 (1)多标签图像分类的可能性随着图片中标签类别的增加呈指数级增长，在现有的硬件基础上会加剧训练的负担和时间成本，如何有效的降低信息维度是面临的最大挑战。 (2) 多标签分类往往没有考虑类别之间的相关性，如房子大概率不会出现老虎、海洋上不太可能出现汽车。对于人类来说，这些均是常识性的问题，但对于计算机却是非常复杂的过程，如何找到类别之间的相关性也能够更好的降低多标签图像分类的难度。 古语有云：“纸上得来终觉浅，绝知此事要躬行”，理论知识的学习必须通过实践才能进一步强化，完成了综述内容的书写，后续将基于Pytorch框架以Pascal VOC2012增强数据集进行多标签图像分类实战，敬请期待哦！ 如果想加入我们，后台留言吧 技术交流请移步知识星球 更多请关注知乎专栏《有三AI学院》和公众号《有三AI》

图像分割是图像处理与计算机视觉的基本问题之一，是图像处理图像分析的关键步骤。我整理了图像分割技术论文，欢迎阅读!

图像分割技术研究

摘要：图像分割是图像处理与计算机视觉的基本问题之一，是图像处理图像分析的关键步骤。本文介绍了基于阈值的分割方法和图像分割的图像分割性能的评价、应用现状;最后总结出图像分割的发展趋势。

关键词：图像分割、阈值、边缘检测、区域分割

中图分类号： 文献标识码： A

1引言

随着图像分割技术研究的深入，其应用日趋广泛。凡属需要对图像目标进行提取、测量的工作都离不开图像分割。图像分割是图像处理、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题，是计算机视觉技术中首要的、重要的关键步骤。图像分割结果的好坏直接影响对计算机视觉中的图像理解。现有的方法多是为特定应用设计的，有很大的针对性和局限性，到目前为止还不存在一个通用的方法，也不存在一个判断分割是否成功的客观标准。因此，对图像分割的研究目前还缺乏一个统一的理论体系，使得图像分割的研究仍然是一个极富有挑战性的课题。

2图像分割方法

图像分割(Image Segmentation)，简单地说就是将一幅数字图像分割成不同的区域，在同一区域内具有在一定的准则下可认为是相同的性质，如灰度、颜色、纹理等。而任何相邻区域之间其性质具有明显的区别。

基于灰度特征的阈值分割方法

阈值分割技术是经典的、流行的图象分割方法之一，它是用一个或几个阈值将图像的灰度级分为几个部分，认为属于同一个部分的像素是同一个物体。

这类方法主要包括以下几种：

(1)单阈值法，用一个全局阈值区分背景和目标。当一幅图像的直方图具有明显的双峰时，选择两峰之间的谷底作为阈值。

(2)双阈值法，用两个阈值区分背景和目标。通过设置两个阈值，以防单阈值设置阈值过高或过低，把目标像素误归为背景像素，或把背景像素误归为目标像素。

(3)多阈值法，当存在照明不均，突发噪声等因素或背景灰度变化较大时，整幅图像不存在合适的单一阈值，单一阈值不能兼顾图像不同区域的具体情况，这时可将图像分块处理，对每一块设一个阈值。

边缘检测分割法

基于边缘检测技术可以按照处理的顺序分为并行边缘检测和串行边缘检测两大类。常见的边缘检测方法有：差分法、模板匹配法及统计方法等。由于边缘灰度变化规律一般体现为阶梯状或者脉冲状。边缘与差分值的关系可以归纳为两种情况，其一是边缘发生在差分最大值或者最小值处;其二是边缘发生在过零处。

基于区域的分割方法

基于区域的分割方法利用的是图像的空间性质。该方法认为分割出来的某一区域具有相似的性质。常用的方法有区域生长法和区域分裂合并法。该类方法对含有复杂场景或自然景物等先验知识不足的图像进行分割，效果较好。

区域生长方法是把一幅图像分成许多小区域开始的，这些初始的小区域可能是小的邻域甚至是单个像素，在每个区域中，通过计算能反映一个物体内像素一致性的特征，作为区域合并的判断标准。区域合并的第一步是赋给每个区域一组参数，即特征。接下来对相邻区域的所有边界进行考查，如果给定边界两侧的特征值差异明显，那么这个边界很强，反之则弱。强边界允许继续存在，而弱边界被消除，相邻区域被合并。没有可以消除的弱边界时，区域合并过程结束，图像分割也就完成。

结合特定工具的图像分割技术

20世纪80年代末以来，随着一些特殊理论的出现及其成熟，如数学形态学、分形理论、模糊数学、小波分析、模式识别、遗传算法等，大量学者致力于将新的概念、新的方法用于图像分割，有效地改善了分割效果。产生了不少新的分割算法。下面对这些算法做一些简单的概括。

基于数学形态学的分割算法

分水岭算法是一种经典的借鉴了数学形态理论的分割方法。该方法中，将一幅图像比为一个具有不同高度值的地形，高灰度值处被认为是山脊，底灰度值处被认为是山谷，将一滴水从任一点流下，它会朝地势底的地方流动，最终聚于某一局部最底点，最后所有的水滴会分聚在不同的吸引盆地，由此，相应的图像就被分割成若干部分。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感。

基于模糊数学的分割算法

目前，模糊技术在图像分割中应用的一个显著特点就是它能和现有的许多图像分割方法相结合，形成一系列的集成模糊分割技术，例如模糊聚类、模糊阈值、模糊边缘检测技术等。

这类方法主要有广义模糊算子与模糊阈值法两种分割算法。

(1)广义模糊算子在广义模糊集合的范围内对图像处理，使真正的边缘处于较低灰度级，但还有一些不是边缘的像素点的灰度也在较低灰度级中，虽然算法的计算简明，且边缘细腻，但得到的边缘图会出现断线问题。

(2)模糊阈值法引入灰度图像的模糊数学描述，通过计算图像的模糊熵来选取图像的分割阈值，后用阈值法处理图像得到边界。

基于遗传算法的分割方法

此算法是受生物进化论思想提出的一种优化问题的解决方法，它使用参数编码集而不是参数本身，通过模拟进化，以适者生存的策略搜索函数的解空间，它是在点群中而不是在单点进行寻优。遗传算法在求解过程中使用随机转换规则而不是确定性规则来工作，它唯一需要的信息是适应值，通过对群体进行简单的复制、杂交、变异作用完成搜索过程。由于此法能进行能量函数全局最小优化搜索，且可以降低搜索空间维数，降低算法对模板初始位置的敏感，计算时间也大为减少。其缺点是容易收敛于局部最优。

基于神经网络分割算法

人工神经网络具有自组织、自学习、自适应的性能和非常强的非线性映射能力，适合解决背景知识不清楚、推理规则不明确和比较复杂的分类问题，因而也适合解决比较复杂的图像分割问题。原则上讲，大部分分割方法都可用 ANN(attificial neural network)实现。ANN 用于分割的研究起步较晚，只有多层前馈NN，多层误差反传(BP)NN，自组织NN，Hopfield NN以及满足约束的NN(CSNN-Const raint Satisfaction Neurat Network)等得到了应用。使用一个多层前向神经网络用于图象分割，输入层神经元的数目取决于输入特征数，而输出层神经元的数目等同于分类的数目。

图像分割中的其他方法

前面介绍了4大类图像分割较常用的方法，有关图像分割方法和文献很多，新方法不断产生，这些方法有的只对特定的情形有效，有的综合了几种方法，放在一起统称为第5类。

(1)标号法(labeling)是一种基于统计学的方法，这种方法将图像欲分割成的几个区域各以一个不同的标号来表示，用一定的方式对图像中的每一个像素赋以标号，标号相同的像素就合并成该标号所代表的区域。

(2)基于Snak模型的分割方法，基于Snake模型的分割是通过对能量函数的动态优化来逼近图像目标的真实轮廓的

(3)纹理分割，由于新的数学工具的引入，纹理分割技术取得了一些进展，张蓬等人将小波分析应用于纹理基元提取。

(4)基于知识的图像分割方法，直接建立在先验知识的基础上，使分割更符合实际图像的特点。该方法的难度在于知识的正确合理的表示与利用。

3图像分割性能的评价

图像分割评价主要有两个方面的内容：一是研究各分割算法在不同情况下的表现，掌握如何选择和控制其参数设置，以适应不同需要。二是分析多个分割算法在分割同一图像时的性能，比较优劣，以便在实际应用中选取合适的算法。分割评价方法分为分析法和实验法两大类。分析法是直接分析分割算法本身的原理及性能，而实验法是通过对测试图像的分割结果来评价算法的。两种方法各有优劣，由于缺乏可靠理论依据，并非所有分割算法都能够通过分析法分析其性能。每种评价方法都是出于某种考虑而提出来的，不同的评价方法只能反映分割算法性能的某一性能。另一方面，每一种分割算法的性能是由多种因素决定的，因此，有可能需要多种准则来综合评价。

4图像分割技术的发展趋势

随着神经网络、遗传算法、统计学理论、小波理论以及分形理论等在图像分割中的广泛应用，图像分割技术呈现出以下的发展趋势：(1)多种特征的融合。(2)多种分割方法的结合。(3)新理论与新方法。

参考文献

[1] [美]RC冈萨雷斯.数字图像处理(第二版)[M].阮秋琦，等译.北京：电子工业出版社，2003

[2] 章毓晋.图像分割[M].北京：科学出版社，2001.

[3] 李弼程，彭天强，彭波等.智能图像处理技术[M].北京：电子工业出版社，2004.

[4] 杨晖，曲秀杰.图像分割方法综述[J].电脑开发与应用。2005，18(3)：21-23.

点击下页还有更多>>>图像分割技术论文

图像去噪的主要目的是去除影响图像主要信息的噪声部分，同时又希望不破坏图像本身真实信息的边缘和细节部分，小波变换是将图像经过小波变换后，图像的真实信息和噪声信息所产生的小波系数表现出不同的特点，利用不同方法多这些系数处理区分，最后用处理过的小波系数重构就能得到去噪后的图像信息。小波变换的图像去噪相比其他方法的去噪在保护图像边缘和细节方面由于其他方法。同时小波变换和其他方法结合也相对较容易。