图像融合是多传感器信息融合领域的一个重要分支[1],它是指将来自同一目标的不同传感器的信息通过一定的算法融合到一幅图上,从而获得比在单幅图上更完整、更精确的信息。图像融合在军事(如军事侦察、识别伪装)和非军事(如医疗诊断、遥感、计算机技术等)领域得到广泛的应用。就遥感图像融合而言,目前大致分4种类型:多种分辨率的融合处理、多时相的融合处理、多种传感器类型的融合处理、多波段大容量的融合处理。本文研究的对象属于最后一种,即不同光谱获得的图像。
这里使用基于小波变换的塔式结构的优点是小波变换具有紧凑性、正交性、很好的方向性,这使得小波变换可以很好地提取不同尺度上的显著特征,相对于高斯—拉普拉斯金字塔技术而言,不仅可以产生更好的融合结果,而且进行反向变换时稳定性更好;另外小波变换的塔式结构还使得不管原图像的长度是否2的幂次方,最终变换后的图像与原图像尺寸相同,这使得开发实用的并行算法系统成为可能。
本文正是基于这点,在对图像小波多分辨分解叙述的基础上,构造了一种图像融合算法,最后对算法进行了仿真,并对结果进行了分析。
1 图像的小波变换
定义1 多分辨分解
设fj+1∈V2j+1,由V2j+1=V2j W2j可得,存在fj∈V2j,gj∈W2j,有fj+1=fj+gj
对于图像f(x,y)而言,由文献[2]可得图像的Mallat二进小波的塔式分解为
fj+1(x,y) =∑k,mCj,k,mj,k,m+∑ε=1,2,3∑k,mDεj,k,mΨεj,k,m(1)
式中:
Cj,k,m=∑l,nhl-2khn-2mCj+1,l,n; D1j,k,m=∑l,nhl-2kgn-2mCj+1,l,n
D2j,k,m=∑l,ngl-2khn-2mCj+1,l,n; D3j,k,m=∑l,ngl-2kgn-2mCj+1,l,n
在图像小波分解的表达式中Cj,k,m, D1j,k,m, D2j,k,m, D3j,k,m,分别对应图像的低频子带及水平、垂直与对角线3个方向的高频子带, Cj,k,m为图像在aj分辨率下的离散逼近,D1j,k,m, D2j,k,m, D3j,k,m为2j分辨率下的离散细节。{hk}k∈z可看作低通滤波器系数, {gk}k∈z可看作高通滤波器系数,为尺度函数,Ψ为正交小波函数。{j,k,m|k,m,∈z}构成Vj2的规范正交基,{Ψεj,k,m|j,k,m∈z}构成W2j的规范正交基。
另外,通过小波分解,除了低频子带都是一些正的变换值外,其它的3个高频子带都包含了一些在零附
近的变换值,在这些子带中,较大的变换值对应着亮度急剧变化的点,也就是图像中的显著特征,如边缘、亮线及区域轮廓。既然小波变换具有很好的空域及频域局部性,融合的效果就是:对来自同一目标的两个不同传感器所获解的图象A和B,融合前在图像A中若比图像B中显著,融合后图像A中的目标就被保留,图像B中的目标就被忽略;对不同的场景,比如图像A中的目标的外部轮廓比较明显,图像B中目标的内部轮廓比较明显,这种情况,图像A、B中目标的小波变换系数将在不同的分辨率水平上占统治地位,从而在最终的融合图像中,图像A中的外部结构与图像B中的内部结构都被保留。因此通过融合可以实现在单幅图像上的片面的、不完整、不精确的信息得到更一致更精确的体现。
最后对组合后的变换系数进行反向小波变换,就可得到融合后的图像。
2 基于区域的图像增强算法
在图像的融合算法中,图像不同,图像的数据表征不同,融合算法也各不相同,目前采用的融合方法主要有[3]:基于像素的代数组合法、统计/数值法以及与颜色有关的技术。但是我们知道图像中的有用特征通常大于1个像素,因此基于像素的选择方法可能不是最适合的,近几年又提出了基于区域的选择方法,比较有代表性的是文献[4]中提出的基于区域的均值选择法,该方法用一M×N的窗口对图像块进行求方差运算,计算结果作为与窗口中心像素对应的一种度量方法,中心像素的选择方法为:如果两幅图像方差在对应位置上的度量值相近,取2者的均值作为输出的新值,否则取较大的值作为输出。文献[5]中提出利用不同的特征选择算子,有方向的计算对应细节图像的局域能量,由局部能量构造匹配度及加权因子,从而对图像进行加权运算。这里以均值、方差、相关等统计参量构造一种新的区域融合算法。以下计算以两幅图像为例,对3幅以上的图像融合算法与此类似,具体步骤如下:
首先,利用M×N (一般选M,N为奇数,常用的窗口为3×5或5×5)窗口计算小波分解各子带系数
的均值和方差,子带中以(x,y)位置为中心的区域均值与方差分别为
mi(x,y) =1M×N∑Mm=1∑Mn=1fi(x+ m -M+12,y+ n -N+12) (2)
σ2i(x,y) =1M×N∑Mm=1∑Mn=1(fi(x+ m -M+12,y+ n -N+12)- mi(x,y))2(3)
图像1以(x,y)位置为中心与图像2对应区域的协方差为
β2(x,y)=1M×N∑Mm=1∑Mn=1(fi(x+m-M+12,y+n-N+12)-m1(x,y))×
(f2(x+m-M+12,y+n-N+12)-m2(x,y))(4)
构造匹配度ρ及加权系数W: ρ=β2σ1σ2; Wmax=1-12ρ; Wmin=1-Wmax
然后,利用下式对两幅图像中的对应子带像素进行融合计算
f(x,y)=Wmax·MAX(f1(x,y),f2(x,y))+Wmin·MIN(f1(x,y),f2(x,y)) (5)
这里f1(x,y),f2(x,y)是上述对应窗口中心位置的两幅图像的像素灰度值。这样就完成了2j分辨率
下的数据融合,最后对融合后的子带系数进行反变换就可得到融合后的图像。
需要的话给我你的邮箱，发到你邮箱！
论文原文： A Semantic-based Medical Image Fusion Approach
医学图像融合对临床诊断有着很重要的作用。但是目前存在的医学图像融合方法忽略了图像的语义信息，试融合后的图像难以理解。（本来融合就是要更多的保留不同模态之间的互补信息来辅助诊断的。因此语义信息当让重要了。）在本文中提出了一种基于语义的医学图像融合方法。Fusion W-Net（FW-Net）。大大的减少了语义信息的损失。并且与先进方法一样有较好的视觉效果，在临床应用上有很大潜力。
低成本的融合方法大致采用这样策略：把不同域的图像转换成不同尺度的参数，然后采用人工设计的规则来优化融合他们，但是这些方法忽视了不同模态之间的语义冲突。例如：骨组织在CT中试比较亮的，但是在MR-T2图像中试安的（这是由不同模态图像的成像原理决定的）因此这些存在的方法有如下两个弊端：
1）现存方法忽视语义冲突。从而导致融合图像的于一损失，如，CT中亮的是密度的组织，MR中量的部分代表组织的流动性和磁性。所以不容模态之间图像嗯待亮的部分的语义完全不同。
2）不考虑亮度语义的融合方法会导致某些脑组织边界模糊。在图1 (b)的绿色框架中，我们可以清楚地看到额窦的炎症区域，这也是临床医生关注的重点。但由于图1 (a)对应部分为亮部，融合时额窦边界(c)(d)和(e)变得模糊。
在本文中我们提出了基于语义的融合方法：先提取不同模态的图像的语义特征，然后把他们映射到新的语义空间，然后再新的于一空间生成出融合的医学图像。采用的FW-Ne由两个U-net组成。
两种方式：1）任务中有目标域的情况（目标域是其中一个源域）：这种一般是把另一个域的图像融合进这个域。通过像素级或者结构级的回归来实现。2）目标域不在任务中通常训练一个度量来生成图片。
底层保留了细粒度信息，高层保留了语义和高频信息。这再图像融合中是有益的。
1）从源域提取信息，包括结构信息和语义信息
2）把不同域的信息映射到相同的空间，
3）再相同空间内融合重建图像。
自动编码器中编码器用力拍提取特征，解码器用来进行重构，通过最小化生成图像和源图像之间的均方误差(MSE）来进行学习和训练。
编码器和解码器都使用U-Net。第一U-Net用于生成融合图像从两个源域到目标域，第二U-Net用于重建源图像。最后，通过最小化重构误差得到融合后的图像。传统的自编码器框架是完全连接的，因此编码器的矢量输出不能保证与源图像在空间上保持一致，而U-Net采用局部连接结构，使得输出矢量在空间上保持一致，从而得到视觉融合的图像。
前两项是重构的语义损失，个人感觉类似于cycle的损失。只不过cycle的损失还有对抗损失这里没有用到鉴别器。
KL散度的目的是是图像平滑，是图像平滑和显著性之间的权衡。
最后一项是正则化，防止模型过拟合
为了评估语义损失，为每个方法训练一个编码器，再训练过程中用来优化
训练之后采用下式来计算语义 损失
1)在编码器和解码器的每一层都加入了batchnorm 加速收敛，提升效果
CT and MR-T2
Q_MI 互信息
QAB/F 衡量边缘信息保留成都
SSIM 结构相似性
Q_D 视觉不同行
SL 语义损失
SSIM一个很高，一个很低。作者得解释是因为融合后得图像比较好的保留了CT得信息，又因为是通过语义相似性约束得，不同模态之间得语义相似性相差很大，所以才一个0.8一个0.3.
红色是钙化得组织。再临床上应该重点关注。所以融合得话这个信息应该保留。所以相比本文方法其他方法都对这部分有了一定得模糊效果。
黄色脑室 黄色箭头指得点再MR中有体现，再融合图中也有体现。说明确实是融合了两个图得信息。
蓝色为头外骨。
思考：
总觉得语义相似性有点怪怪得，但说不出哪里有毛病。
医学影像诊断学是医学影像学中的一门重要学科,而医学影像学是临床医学的一个重要分支。下面是我为大家整理的医学影像技术专业 毕业 论文，供大家参考。
《 高职影像专业医学影像物理学的教学探讨 》
摘 要： 根据课程特点、学生现状，我们重视教师素质培养，理清教材层次与学生的关系，运用丰富的 教学 方法 ，变抽象的论述为理论联系实际的形象化教学，提高了医学影像物理学课程的教学质量。
关键词： 高职 医学 影像物理学 教学探讨
近十几年来，大型医学影像设备的迅速发展，极大地提高了诊断治疗水平。随着社会对医学影像专业人才的需要愈加迫切，国内众多本科医学院校都设置了医学影像专业。而随着我国社区医疗的发展，填报高等职业技术学院医学影像专业的学生人数不断增加。以湖北职业技术学院为例，影像专业学生录取人数由每年一个班提高到两至三个班。不论各院校侧重培养高学历医学影像临床诊断专业人才，还是侧重培养高学历医学影像工程技术人才，在专业课程设置过程中，都强调了开设医学影像物理学基础(以下简称影像物理学)这门课程的重要性和必要性。有些本科院校还在临床医学专业开始开设影像物理学为选修课程，目的就是让临床医师具备医学影像的基础理论知识，为将来后续专业课程――医学影像诊断学或医学影像学的开设提供必要的理论基础。
1.高职医学院校影像专业课程设置现状
以湖北职业技术学院为例，高职医学院校影像专业现在招收高中文科和理科学生及中职生。在课程开设上，只在大学一年级开设医学电子学基础这一门理工科课程，相关高等数学知识缺乏，学生的数理基础比较薄弱。医学影像物理学基础是一门交叉学科，又是一门非常重要的专业基础课。教学目的是让学生掌握医学成像理论的物理学基本原理、规律;了解医学成像的物理理论知识;为深刻理解成像过程，评价图像，以及读识图像、挖掘图像蕴藏的生物信息奠定基础。这就需要一定的高等数学、核物理学、量子物理、超声波物理等许多知识来做铺垫。当然更多需要成像技术的相关基础知识。面对这些必要的知识，影像专业高职生在有限的时间、有限的学时里是完成不了的，这是事实。其实，影像物理学是伴随影像专业的建立而诞生的一门新课程，在国内存在尚不足十年。因此，从教材到教学，各校都处于摸索前进的阶段。如何让高职生在无基础的前提下有效学习该门课程，我将自己在几年教学过程中的教学体会写出来，与大家共同探讨。
2.提高教师的专业素质，必须树立专业思想
由于缺乏相关师资力量，目前各院校影像物理学的教学任务大都由物理学教研室的教师承担。但是，物理学和影像物理学两门课程的专业性质差别很大，前者为理科基础课，后者为专业基础课。从事影像物理学教学的教师必须具备一定的医学专业知识，具备较高的专业素质，教学必须树立专业思想，才能将物理学知识和影像学知识有机结合起来，增强学生的学习兴趣，提高该课程的教学质量。因此，授课教师应加强自身专业素质，利用临床进修的机会学习影像知识和实际技术，尽力做好教学工作。
3.教学过程中必须恰当把握知识的深度
影像物理学是先期开设影像专业院校的教学工作者在教学过程中逐步完善而建立的。它是将高等数学知识、物理学知识、成像理论，计算机技术等知识应用于超声成像技术、X-CT成像技术、同位素成像技术、磁共振成像技术中的一门交叉学科。知识的起点很高，学生学习起来有一定的难度，在教学过程中应恰当把握教材知识的深度，讲解需深入浅出，通俗易懂。比如超声场的描述部分，涉及较多的高等数学知识，在教学过程中应注意引导学生注重理解场的分布性质、描述场的量的物理意义，等等，尽量避免学生由于数学知识少而降低对该课程的理解和学习兴趣。磁共振部分，学生需要具备一定的原子核物理、量子力学知识才能准确理解核自旋的能级、跃迁等概念和现象。在教学中应注意搜集一些资料，尽量用较通俗的、经典的、宏观假说进行解释，增强学生对微观世界的感性认识。
4.注意把握影像物理学原理与成像技术、影像设备学有关知识的权重关系
X-CT成像、超声成像、同位素成像、磁共振成像每一部分都有两项主要内容：物理基本原理和成像基本原理。在教学过程中应把主要精力放在讲解物理学基本原理上，这是毫无疑问的，这也是物理专业毕业的教师最容易做到的，但学生的学习兴趣往往集中在成像原理上，对涉及的成像技术、成像设备等知识更表现出浓厚兴趣。虽然成像技术和成像设备在后期专业课程的实践教学中会详细讲解，在这里我们对这部分做简要的介绍，以收到良好的教学效果。这些年来，我校历届学生都表现出对影像物理的极大学习兴趣。这与我们的教学方法有一定的关系。
5.注意提高学生对知识的感性认识
影像物理学各部分知识都是比较抽象的，学生普遍觉得难懂难学。因此，通过各种手段提高学生对知识的感性认识，能对学生的学习起到事半功倍的帮助作用。在教学过程中，我们将陀螺进动实验给学生做演示，讲解原子核中核子的自旋与自旋磁矩的相关知识;借助于声波的传播与反射知识对超声测量实验进行详细讲解;分配一定的学时带领学生到附属医院相关科室参观学习。邀请超声，CT临床诊断教师和技术教师给学生当场讲解仪器的原理、操作方法，以及诊断等，使学生对课堂上学到的知识有一个感性认识，加深理解，收到了很好的效果。
6.实现教材的多层次、立体化
由于该课程属于应用型的知识，学起来难度更大，我们进行了教材的多层次、立体化尝试。课程是教材的基础，教材是课程的载体，教材中要融入现代化的教学技术，实现多样化、配套和协调化。我们的做法是：文字教材与现代多媒体手段紧密结合。
教材体系包括：(1)传统的纸质教材《医学影像物理学》(人民卫生出版社出版);(2)教师授课用的独创的电子教案，其中配以大量的自制和临床实拍图片和自己研发的动画，并提出学生思考的问题;(3)辅助学生自学和研究的学习软件，如《CT与磁共振成像原理》CAI课件(人民卫生电子音像出版社公开出版发行，被列入“十一五”国家重点电子出版物);(4)网页形式课件2部。初步形成了多形态、多用途、多层次的教学资源和多种以教学服务为目的的结构性配套教学出版物的集合。
总之，影像物理学是一门新课，只有不断摸索，不断 总结 经验 ，逐步改进教学方法和手段，才能增强教学效果。通过几年来的努力，一方面学生看到了现在所学的就是将来所用的，提高了学习基础课的兴趣，另一方面学生培养了学习能力，同时对后续课程“医学影像诊断学”的学习奠定了基础。
参考文献：
[1]侯淑莲，李石玉，马新超等.关于医药学院校物理课程的思考[J].大学物理，2005，24，(5)：53-56.
[2]包尚联，唐孝威.医学物理研究进展[J].自然科学进展，2006，16，(1)：7-13.
[3]童家明，刘成玉，周晓彬等.普通高等学校医药类专业物理理论课教学现状调查[J].大学物理，2005，24，(7)：55-59.
[4]侯淑莲.CT与磁共振成像原理[M/CD].北京：人民卫生电子音像出版社，2007.
《 刍议影像融合推动医学影像领域发展 》
内容摘要：科技的进步不仅是带动了工商业的发展，同时也推动了医学发展，计算机技术被广泛用于影像医学中。现在医学上的各种检查仪器越来越精密，功能更加完善，图像信息的存储和传输为医学的研究和诊断提供了更好的依据。医学影像的融合就是影像信息的融合，是借助计算机技术辅助诊断病情的。医学影像的融合是医学影像学新的发展方向，本文对医学影像的融合进行分析，探讨影像融合对医学影像发展的影响和作用。
关键词：医学影像 影像融合 诊断
一、影像融合
医学影像融合其实就是利用计算机技术，将影像信息进行融合。其中包括将图像信息进行数字化处理，再进行数据协同和匹配，得到一个新的影像信息来获得对病情更好的观测，以计算机为辅助手段，使诊断更加准确、具象。
影像融合的发展趋势
影像融合的趋势
医学影像学是近年来发展的比较快的临床学科之一，其中的超声、放射等早就被应用到医学的诊断上，但是，面对不同病人的各种症状，单一的影像检查已经不足以作为诊断的依据。因此，影像融合越来越成为医学中的焦点，人们更希望通过多重的影像检查、比较和分析，使检查结果更准确，更好的辅助临床疾病的治疗。影响融合的发展提高了医学诊断的综合水平，对于推动影像学的发展有重要的意义。而且，医学影像的融合不仅可以对诊断锦上添花，还可以为治疗提供帮助。例如：X线、超声、聚焦和磁共振结合在一起进行治疗。影响融合的发展是势在必行的，而且将推动医学影像学的更新与发展。
影像融合的必要性
1、医学技术的更新与发展需要影响融合
计算机技术被广泛应用于各个领域中，这也包括医学影像学。随着新技术的发展和实施，图像后期处理技术也需要不断的提高，影像的融合技术就是后处理技术的新发展。前后技术的同步才能更好的将影像学的好处发挥出来。
2、影像融合使检查更全面准确
影像学的检查手段是很多的，从B超到射线再到CT等，每项检查都是有针对性的，但是正因为这样又有一定的局限性。每项检查都有单一局限性，只能准确的体现一方面的数据值，不利于诊断病情。影像的融合弥补了这一缺陷。
3、临床诊断需要影像融合
一切的检查手段都是为了最终的临床治疗，影像诊断一样是为临床治疗服务的。影响的融合，集中了多项单一检查的优势，呈现的图像更清晰，更便于医生的判断，使诊断更清晰准确，也就能根据诊断提供更好的治疗方案，辅助临床治疗。
影响融合的方法和技术应用
首先是信息技术的融合。无论是什么样的诊断技术，最后要得到的都是这项技术所能诊断出来的信息。影像的融合首先要实施对信息的融合，图像数据的转换是理解是关键。而图像的转换时将不同检查设备检测的图像信息进行格式的转换和调整，使其更逼真的呈现出检测部位的状态，确保诊断的准确性。
其次是数字化技术的融合。建立图像数据库是比较直观和易于提取信息的。
还有就是计算机技术的应用，这几项技术的融合，使影像融合后的检查更加具体详细。
影像融合的方法：界标 配对 、表 面相 合法、空间力矩配对、交叉相关法。
四、 医学影像融合的临床价值
现代医学已经把用计算机技术对获取的影像信息进行处理的研究成果应用于临床医学的诊断，将各项检查结果通过计算机技术进行分析、处理，将影像融合重新现出清晰度高、高质量的影像。主要有以下几个方面的临床价值：
帮助临床诊断
影像融合后的图像将检查部位的结构和周边组织清楚地呈现出来，通过影像诊断，医生能够更加了解检测部位的组织形态是否发生病变以及病变的程度。很多疾病早期的病变都是不太明显了，一旦没被发现就可能会错过最佳的治疗时机。影像融合后的图像可以通过区域放大将组织的差异标注出来，便于观察和诊断，能够及时的发现病变，减少漏诊的情况。
有助于手术的治疗
影像融合的中，结合了图像重建和三维立体定向技术，这些技术的应用能够清晰的显示出病变部位及其周围组织的状况和空间状态，医生可以根据融合后的图像制定手术方案，并在手术实施过程中提供实时显示，也为术后的观察提供了方便。
有助于医学研究
影像的融合结合了多项检查的优势，提供的影像信息更全面清晰，病理特征更明显，是医学研究中非常有价值的影像学资料，为以后疾病的研究提供更好的依据。
结语：医学影像的融合就是将多项检查的优点，经过一系列计算机技术的融合和处理重新形成新的图像。医学影像的融合是医学影像技术发展的一次伟大的更新，它将各种各种技术综合运用到医学的检查和诊断上，推动了影像学的进一步发展。
参考文献
[1]王静云，李绍林;医学影像图像融合技术的新进展[J];第四军医大学学报;2004年20期
[2]李熙莹;黄镜荣;;图像融合技术研究及其在医学中的应用[A];大珩先生九十华诞文集暨中国光学学会2004年学术大会论文集[C];2004年
[3]吴疆;医学图像融合算法研究[D];西北工业大学;2006年
[4]张孝飞，王强，韦春荣，王至诚，张福北;医学图像融合技术研究综述[J];广西科学;2002年01期
[5]赵敏志;李钢;张仁斌;;图像融合技术现状[A];第六届全国信息获取与处理学术会 议论文 集(3)[C];2008年
[6]康晓东.计算机在医疗方面的最新应用.北京：电子工业出版社，1999，46-70.
有关医学影像技术专业毕业论文推荐：
1. 医学影像毕业论文范文
2. 有关医学影像类毕业论文
3. 医学影像本科毕业论文
4. 医学影像学研究论文
5. 关于医学影像的论文
