图像融合方面论文文献

论文原文： A Semantic-based Medical Image Fusion Approach 医学图像融合对临床诊断有着很重要的作用。但是目前存在的医学图像融合方法忽略了图像的语义信息，试融合后的图像难以理解。（本来融合就是要更多的保留不同模态之间的互补信息来辅助诊断的。因此语义信息当让重要了。）在本文中提出了一种基于语义的医学图像融合方法。Fusion W-Net（FW-Net）。大大的减少了语义信息的损失。并且与先进方法一样有较好的视觉效果，在临床应用上有很大潜力。 低成本的融合方法大致采用这样策略：把不同域的图像转换成不同尺度的参数，然后采用人工设计的规则来优化融合他们，但是这些方法忽视了不同模态之间的语义冲突。例如：骨组织在CT中试比较亮的，但是在MR-T2图像中试安的（这是由不同模态图像的成像原理决定的）因此这些存在的方法有如下两个弊端： 1）现存方法忽视语义冲突。从而导致融合图像的于一损失，如，CT中亮的是密度的组织，MR中量的部分代表组织的流动性和磁性。所以不容模态之间图像嗯待亮的部分的语义完全不同。 2）不考虑亮度语义的融合方法会导致某些脑组织边界模糊。在图1 (b)的绿色框架中，我们可以清楚地看到额窦的炎症区域，这也是临床医生关注的重点。但由于图1 (a)对应部分为亮部，融合时额窦边界(c)(d)和(e)变得模糊。 在本文中我们提出了基于语义的融合方法：先提取不同模态的图像的语义特征，然后把他们映射到新的语义空间，然后再新的于一空间生成出融合的医学图像。采用的FW-Ne由两个U-net组成。 两种方式：1）任务中有目标域的情况（目标域是其中一个源域）：这种一般是把另一个域的图像融合进这个域。通过像素级或者结构级的回归来实现。2）目标域不在任务中通常训练一个度量来生成图片。 底层保留了细粒度信息，高层保留了语义和高频信息。这再图像融合中是有益的。 1）从源域提取信息，包括结构信息和语义信息 2）把不同域的信息映射到相同的空间， 3）再相同空间内融合重建图像。 自动编码器中编码器用力拍提取特征，解码器用来进行重构，通过最小化生成图像和源图像之间的均方误差(MSE）来进行学习和训练。 编码器和解码器都使用U-Net。第一U-Net用于生成融合图像从两个源域到目标域，第二U-Net用于重建源图像。最后，通过最小化重构误差得到融合后的图像。传统的自编码器框架是完全连接的，因此编码器的矢量输出不能保证与源图像在空间上保持一致，而U-Net采用局部连接结构，使得输出矢量在空间上保持一致，从而得到视觉融合的图像。 前两项是重构的语义损失，个人感觉类似于cycle的损失。只不过cycle的损失还有对抗损失这里没有用到鉴别器。 KL散度的目的是是图像平滑，是图像平滑和显著性之间的权衡。 最后一项是正则化，防止模型过拟合 为了评估语义损失，为每个方法训练一个编码器，再训练过程中用来优化 训练之后采用下式来计算语义 损失 1)在编码器和解码器的每一层都加入了batchnorm 加速收敛，提升效果CT and MR-T2 Q_MI 互信息 QAB/F 衡量边缘信息保留成都 SSIM 结构相似性 Q_D 视觉不同行 SL 语义损失 SSIM一个很高，一个很低。作者得解释是因为融合后得图像比较好的保留了CT得信息，又因为是通过语义相似性约束得，不同模态之间得语义相似性相差很大，所以才一个0.8一个0.3. 红色是钙化得组织。再临床上应该重点关注。所以融合得话这个信息应该保留。所以相比本文方法其他方法都对这部分有了一定得模糊效果。 黄色脑室 黄色箭头指得点再MR中有体现，再融合图中也有体现。说明确实是融合了两个图得信息。 蓝色为头外骨。 思考： 总觉得语义相似性有点怪怪得，但说不出哪里有毛病。

陈于林 蒲体信

（四川省国土勘测规划研究院，成都，610031）

摘要：目前商用的高分辨率影像Quickbird 能提供 0.61m的全色波段数据和 2.44m的多光谱数据，因此如何利用全色波段数据和多光谱数据进行融合以提高影像质量是目前遥感影像处理中最关键的一步。本文从光谱质量和空间信息角度分别对5种融合方法进行了比较研究，综合评价结果是合成比值变量变换最适合于 Quickbird影像多光谱数据和全色数据的融合。

关键词：Quickbird；影像融合；比较评价

影像融合技术在近10年发展较快，成为遥感应用研究领域的重要主题。Pohl和Van Genderen对遥感影像融合的概念、方法和应用进行了较为全面的总结［1］。大量研究工作围绕锐化影像、提高几何校正精度、改善分类精度以及变化监测等领域展开。在遥感领域应用较多的融合方法有IHS变换、主成分分析、Brovey （颜色归一化）变换、小波变换以及最近发展修改的合成比值变量变换，目前对融合方法进行系统定量评价比较的工作仍然较少［2］。因此，本文从定量评价的角度对各种融合方法进行比较研究。

QuickBird－2卫星是由美国数字全球公司于2001年10月18日用德尔他－2火箭发射的高分辨率商业卫星系列中的第3 颗。其全色波段地面（星下点）分辨率为0.61m，波长范围450nm～900nm；多光谱波段地面（星下点）分辨率为2.44m，波长范围为蓝波段450nm～520nm，绿波段520nm～600nm，红波段630nm～690nm，近红外波段760nm～900nm；重访周期为1～6天［3］。

我国新一轮的土地资源大调查已全面展开，本次土地调查要求使用新技术和新方法，从节约成本、提高效率和提高质量等方面来开展二次调查。由于航天技术的发展，亚米级航天卫星的数据量越来越容易获取，因而借助航天遥感的手段进行二次调查显得非常必要。亚米级卫星遥感影像QuickBird具有现势性好，地面分辨率高，空间纹理清晰，因此其经过融合后的遥感影像能够制作1∶5000 比例尺的土地利用更新调查底图，这将推动本次二次调查技术的更新。

1 遥感数据各种融合方法简介

1.1 比值变换法 （Brovey）［4］

Brovey 变换是较为简单的融合方法，它是为 RGB 影像显示进行多光谱波段颜色归一化，将高分辨率全色与各自相乘完成融合。Quickbird 融合采用公式（1）进行计算：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

1.2 HIS 变换法［4］

HIS属于色度空间变换，HIS 变换由于灵活实用的优点而被广泛应用，成为影像融合成熟的标准方法。

HIS 变换从多光谱彩色合成影像上分离出代表空间信息的明度（I）和代表光谱信息的色别（H）、饱和度（S） 3个分量，通常采用高分辨率全色波段或其他数据代替明度（1）进行空间信息的各种处理，采用计算公式（2）和（3）进行变换。

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

其中：I表示明度，H为色别，S为饱和度，v1，v2 为计算H，S所使用的中间变量。其反变换式为：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

1.3 主成分变换法 （PCA）［4］

主成分分析（PCA）是在统计特征基础上进行的一种多维（多波段）正交线性变换，数学上称为K－L交换。在遥感应用领域，这一方法目前主要用于数据压缩，用少数几个主成分代替多波段遥感信息；图像增强，在光谱特征空间中提取有显著物理意义的图像信息和监测地表覆盖物的动态变化。对遥感图像数据进行主成分变换首先需要计算出一个标准变换矩阵，通过变换矩阵使图像数据转换成一组新的图像数据——主成分数据。其变换公式可用下式表示：

Y＝TX （4）

其中：X为原图像p个波段像元值向量，Y为变换后产生的q个主成分像元值向量q≤p，T为实现这一正交线性变换的变换矩阵。T是通过原始图像元值向量X的协方差矩阵∑x计算得出的。T矩阵的每一行都是∑x矩阵的特征向量。因此Y所代表的各主成分，均是X的各分量，即各波段信息的线性组合。生成的主成分像元值向量y 的协方差矩阵为∑y，且：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

其中：λ1，λ2……λp为原始图像协方差短阵∑x 的特征值，λi （i＝1，2……p）按由大到小的顺序排列。λ1，λ2……λp为各个主成分的方差，任何两个主成分之间的协方差都为0，互不相关，保证各主成分之间没有信息的重复和冗余。

1.4 合成比值变量变换法 （SVR）［5］

根据修改简化的Munechika方法，过程如下列公式：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

其中：XSPi 表示第i波段融合后灰度值，PanH 是高分辨率全色波段灰度值，XSLi是第 i 波段原始灰度值，PanLS是多光谱波段合成的全色波段灰度值，φi 是高分辨率全色波段与 XSLi间回归系数。

首先将Quickbird4个多光谱波段与全色波段求算回归系数，然后利用回归系数与多光谱波段合成模拟高几何分辨率全色，最后利用比值变换完成各波段的融合。

1.5 小波变换［3］

小波变换是将原始信号用一组不同尺度的带通滤波器进行滤波，将信号分解到一系列频带上进行分析处理，小波理论为图像的空间尺度分析提供了一个统一的框架。在遥感图像上，常常将小波变换二进制离散化，进行分析处理（图1）。

Quickbird图像选用了Daubechies小波（D4）分别对全色和多光谱各个波段进行小波分后利用全色3个边缘子图代替多光谱波段的边缘子图和多光谱平滑子图进行逆变换完成各个波段的小波融合。

图1 小波分解示意图

2 融合效果比较

选择和确定何种融合方法通常取决于应用目的，因此很难对一种融合技术进行质量评价。一般来说，对于遥感影像融合效果的评价，应综合考虑空间细节信息的增强与光谱信息的保持，因此评价可以从光谱信息和空间细节信息两个方面考虑。下面介绍几个评价参数指标及其特征表达。

2.1 空间细节信息

在统计理论中，统计均值 、标准差 定义为：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

对某一幅图像，n 为像素总数，xi 为第i个像素的灰度值，则均值为像素的灰度平均值，对人眼反映为平均亮度。方差反映了灰度相对于灰度均值的离散情况，方差越大，则灰度级分布越分散。

设图像的灰度分布为p＝｛p0，p1，…，pL－1｝，pi 为灰度值等于 i 的像素数与图像总像素数之比，L为灰度级总数。对于灰度范围 ｛0，1，…，L－1｝ 的图像直方图，其信息熵定义为：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

易知，0≤H≤lnL。当某个pi＝1 时，H＝0；当 p0＝p1＝…＝pL－1＝1/L 时，H＝lnL。

图像信息熵是衡量图像信息丰富程度的一个重要指标，通过对图像信息熵的比较可以对比出图像的细节表现能力。熵的大小，反应了图像携带的信息量的多少。融合图像的熵值越大，说明融合图像携带的信息量越大。如果图像中所有灰度级出现概率趋于相等，则包含的信息量趋于最大［6］。

平均梯度是用来评价影像质量的改进，计算公式为［7］：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

式中，M、N为遥感影像的行、列数，式子 表示图像函数f（x，y）在x、y方向上的一阶差分。一般来说 g越大，图像层次感越丰富，图像越清晰。

2.2 光谱信息［6］

图像光谱扭曲程度直接反映了多光谱图像的光谱失真程度。第k个光谱分量的光谱扭曲定义为：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

式中，n 表示图像大小；K表示多光谱图像中光谱分量的个数；k表示第k个光谱分量； 分别为第k个光谱分量在原始图像与融合图像上（i，j）点的颜色灰度值。融合前后对应波段的扭曲程度值越小，说明融合前后的失真程度越小。

偏差指数用来比较融合影像和低分辨率多光谱影像偏离程度。第k个光谱分量的偏差指数定义为：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

其中用 n 表示图像大小，K 表示多光谱图像中光谱分量的个数，k 表示第k个光谱分量， 分别为第k个光谱分量在原始图像与融合图像上（i，j）点的颜色灰度值。融合前后对应波段的偏差指数值越小，说明融合前后的光谱影像偏离程度越小。

3 实例分析

本例选用了成都市西南交通大学校区进行处理，本地区包含有植被、水体及建筑物等典型的地物。遥感影像数据是2004年8月所获取的0.6 m全色和2.4 m多光谱Quickbird数据，运用以上介绍到的5种目前运用最普遍的融合方法分别进行了融合，本次影像融合采用的软件是MATLAB及ERDAS 8.7。如图2～图8，在本次的融合过程中不进行任何光谱和纹理上的增强处理。对IHS和Brovey融合只是针对多光谱波段321 和全色波段的融合，而PCA、SVR和小波变换完成全部4个多光谱波段的融合。

图2 原始多光谱影像 （321 组合）

图3 原始全色影像

图4 比值变换融合影像 （321 组合）

图5 HIS 变换融合影像 （321 组合）

图6 PCA 变换融合影像 （321 组合）

图7 SVR 变换融合影像 （321 组合）

图8 小波变换融合影像 （321 组合）

3.1 融合效果目视评价

原始多光谱和全色影像及经5种融合方法得到的融合影像如图2～图8所示。从目视角度可以明显看出，5种融合影像的空间几何分辨率大致相等；而就光谱色彩来说，SVR融合所得影像最接近原始多光谱影像。

3.2 融合效果定量评价

下面选用平均梯度和扭曲程度对以上5种融合影像进行定量评价：

表1是Quickbird融合后高分辨率多光谱影像各波段平均梯度，它体现了融合影像空间细节的表现能力。表2是Quickbird影像融合前后对应多光谱波段扭曲程度，它体现了影像融合前后的失真程度大小。

表1 Quickbrid 融合影像各波段平均梯度

表2 Quickbird 影像融合前后对应多光谱波段灰度平均差异

通过表1 数据分析，在影像融合的四个波段中（Brovey 变换和HIS 变换只有三个波段），第1、2、3波段的平均梯度都是合成比值变量变换的最高，第4 波段的平均梯度是小波变换的最高，其次是合成比值变量变换。

通过表2数据分析，在5种影像融合的方法中，利用合成比值变换融合的影像与原始多光谱影像的光谱扭曲程度在4个波段都是最小的，也即用此种方法融合的影像在最大程度上继承了原始多光谱影像的光谱信息；其次是常用的小波变换方法效果。

通过从光谱质量和空间细节信息的两个方面对上述5 种融合方法的比较，合成比值变量变换是低空间分辨率的光谱信息和高空间分辨率的空间信息二者之间权衡最好的一种融合方法。在制作大比例尺土地利用专题图时要求影像数据的光谱不退化和有较高的几何空间信息，因此选择采用合成比值变量变换方法对Quickbird 进行数据融合是最佳方案。目前还没有成熟的软件能够实现该方法的影像融合，本文是基于 SVR影像融合原理基础上利用 MATLAB 完成影像的融合，仅限于试验研究，不能应用于大量的生产实践中

参考文献

［1］Chavez P S，Sides S C，Anderson J A.Comparsion of the Three Different Methods to Merge Multiresolution and Multispectral Data TM＆SPOT Pan ［J］.Photogrammetric Engineering and Remote Sensing，1991，57：295～303

［2］孙丹峰.IKONOS全色与多光谱数据融合方法的比较研究［J］.遥感技术与应用，2002，17 （1）：41～45

［3］吴培中.快鸟——2卫星的技术性能与应用［J］.国际太空，2002，（10）：3～4

［4］孙家柄.遥感原理与应用［M］.武汉：武汉大学出版社.2003，162～168

［5］Zhang Y.A new merging method and its spectral and spatial effects ［J］.INT J Remote Sensing，1999，20 （10）：2003～2014

［6］李弼程，魏俊，彭天强.遥感影像融合效果的客观分析与评价［J］.计算机工程与科学，2004，26 （1）：42～46

［7］Schistad-Solberg A H，Jain A K，Taxt T.Multisource classification of remotely sensed data：fusion of Landsat TM and SAR imagesl ［J］.IEEE Transactionson Geoscience and Remote Sensing，1994，32 （4）：768～778