【 摘 要 】 文章通过案例引出目前大视场显微测量系统在应用中的不足,提出了对大视场显微测量系统做自动化改造的迫切需求,并进一步分析了目前图像无缝拼接技术在大视场显微测量系统中的研究现状,旨在为从事大视场显微测量系统研制的人员提供最新的行业发展现状。
【 关键词 】 图像拼接;大视场;显微测量系统;现状
【 中图分类号 】 TP37 【 文献标识码 】 A
【 Abstract 】 Taking the deficiency of the current micro measurement system with large field of view as the case, the urgent demand for automation of microscopic measurement system with large field of view was proposed. And further analysis of the current image seamless mosaicking technology in the field of micro measurement system research was presented. This aims to provide the new industry research development situation of microscopic measurement system to the scientists.
【 Keywords 】 image mosaic; large field of view; microscopic measurement system; current status
1 引言
医生用高倍率显微镜对癌细胞做分析时,每次只能观测到癌细胞的很小局部区域,而且由于显微镜的景深小,调整费时,不能满足快速准确判断癌细胞扩散程度的要求,所以提出了对检测设备做自动化改造的需求。改造后的设备要求能够拍摄到多幅连续图像,并能够自动拼合成一幅完整图像,同时根据医理对图像进行分析,给出医生所需要的判断指标。
同样,在检测通过蚀刻等工艺制造在电脑硬盘磁头微小表面上的电路时,通常采用高倍显微镜进行检测,但是只能看到表面金线的局部区域,不能从电路整体判别,这就要求显微镜能够扩展视野范围。如果能够运用自动化技术和图像拼接与分析技术,开发出大视场高分辨率显微测量系统,将能有效地解决这些技术难题。
由上述案例可知,研究基于图像无缝拼接的大视场高分辨率显微测量系统,意义非常重大。从医学的角度来看,大视场高分辨率显微测量系统,能一次性显示完整而又全面的病理切片样本图像及对应的医学指标,这可为医生对病变组织提供最直观和可靠的判断依据,这对病理研究和病人的病情分析有很大帮助,有助于医生减少误诊,消除医患纠纷,在促进医学进步的同时,也大大促进了社会和谐。
从制造业角度来看,大视场高分辨率显微测量系统,能完整显示精密制造业产品结构,从而进行高效的产品检测,这将大大提高我国制造业的高精密水平,并进一步促进我国科技的进步和经济的发展。
此外,对于其他的潜在的具有该方面需求的领域,如材料分析等,大视场高分辨率显微测量系统也都是非常有帮助的工具。
2 研究现状
数字图像检测技术是数字图像处理运用在检测技术领域的一个重要分支,是将计算机图像处理技术应用于工业检测问题的一门交叉学科。数字图像检测技术的发展也使传统的精密测量仪器获得了新的发展机遇,很多原来由人眼通过目镜观察后再做分析判断的精密测量仪器(如金相显微镜、白光干涉显微镜等)可借助摄像技术,通过计算机对图像信息处理的方式,达到更高的智能化程度和获取更精确可靠的处理结果。这种自动化处理提升了仪器的性能,减少了人为判别误差,从而引导科技走向更“精密”、更“准确”的领域。利用这一技术可以有效地解决上述的经济发展中存在的不足,消除精密仪器及产品的检测与开发的瓶颈。
基于图像无缝拼接的大视场高分辨率显微测量系统,其关键技术难点在于实现多个位置的多幅连续图像的无缝拼接。对于多幅连续图像的无缝拼接,其中就需要有精确定位的三维计量型精密工作台,因为相邻的两幅图像,如果工作台运动的位置不连续,图像就会出现错位,就需要计算机对图像进行额外的剪裁,这将增加处理负担,大大影响处理速度;而为了显微镜能够精确快速对焦,工作台在高度方向必须要能够快速、微步距运动。所以研究计量型宽范围高精度的三维快速定位系统是其中一个关键问题。
对于一个理想的定位系统,既要解决计量问题,还必须解决快速定位和锁定的问题。这就不仅要研究长行程的计量方法,还要研究系统定位驱动方法,在微纳米尺度内定位系统的摩擦与蠕动机制,宏微观两极驱动的非线性特征与切换控制算法等。
目前,国内外许多学者一直在致力于该方面的研究。在开发平台方面,Mike Holmes等人开发的LORS定位系统,采用激光干涉仪,电容传感器与超声传感器等进行方位的计量,采用专门设计的直线电机进行六自由度精密驱动,具有25mm×25mm的工作行程,分辨率达到50nm。台湾大学范光照教授等开发了有六自由度测量系统的X-Y定位系统。Yih-Tun Tseng等研究了在直流电机与丝杠的驱动下,X-Y定位系统的定位方法,主要是对电机应用不同的PID参数进行宏与微两步驱动,达到快速定位与锁定目标的目的。J.S. Chen等考虑在滚珠丝杠驱动过程中,采用包括三个压电微位移器的压电螺母给丝杠主动加载的方式进行宏微驱动,宏驱动时,给较小的负荷,微驱动时候,给较大的负荷,解决了丝杠与螺母之间因存在间隙与摩擦力而使系统很难获得高分辨率定位精度的问题。华中科技大学谢铁邦教授和王选择博士等研究出了基于衍射光栅的计量型工作台,其Z方向采用压电陶瓷驱动,定位精度达到100nm。
综合以上可以看出,国内外学者对高精密的计量型工作台作了很多研究,但是要应用到显微镜的无缝拼接自动化系统,还存在一些需要解决的共性问题。在驱动上,难以同时满足定位速度快,定位精度高的要求;在自动聚焦方面,没有现成的运动同时结合图像分析的精确找焦定位方法;在结构方面,没有结构紧凑,适合显微镜工作的运动平台。这些问题,是本领域今后的重点研究方向。
为了实现图像的高分辨率和获取更大的视野,除了解决上述几个方面的问题外,还需要研究图像无缝拼接的算法。通常由于光照条件的差异性和工件表面的特性不同,会出现中心和边沿有明显的灰度差别,如果连续的两幅图像直接联结到一起,会出现明显的边界痕迹。图像无缝拼接的主要目标是通过对像素值的修正使得拼接后图像在拼缝附近能光滑过渡且图像整体灰度和谐,同时
又能保证在修正像素值时,从待拼接源图中获取尽可能多的信息量。目前,根据实际应用的需要,国内众多学者对图像的无缝拼接做了深入细致的研究。
东南大学工程力学系的康新、何小元等在图像匹配和拼接方面的研究主要是利用模板匹配的方法进行搜索,来确定重叠区边界或最佳匹配位置,从而获得拼接图像。该方法的优点是原理比较直观,相对来说容易实现,缺点是计算量大、容易发生误匹配。
中国科学院力学研究所的赵唯、李端义和湖南大学的刘政权等对基于小波变换的图像拼接方法进行了研究,小波变换的方法有匹配准确率高和拼接效果好等优点,但也有计算量大和受噪声干扰影响大的缺点。
河南大学的张焕龙对图像无缝拼接技术进行了研究,提出了一种基于模糊积分的图像优化拼接方法,针对单因素指标对评价拼接效果带来的问题,利用符合主观感受的模糊积分方法综合这两种单因素评价指标,实现图像拼接的综合评价。依据此评价方法,寻找优化的加权函数,实现不同尺度上小波系数融合的优化,最终重构出无缝、光滑的拼接图像。
西北大学王长缨等提出一种基于局部金字塔分解的图像拼接方法,利用拼接区域的相似性信息降低图像拼接的计算量。该方法采用一种图像拼接过渡区域的搜索方法,并以此在空间上约束被拼接图像进行拉普拉斯金字塔(Laplacian Pyramid)分解和图像的拼接、重构计算。实验表明该算法在保证拼接质量的前提下明显提高了基于金字塔分解的图像拼接算法效率。
关于图像拼接的原理和方法多种多样,但是现在还没有通用的拼接软件使人们可以很方便地捕获和拼接图像。在本领域的研究中,既要保证图像拼接的无缝隙,又要保证算法的效率,并且要根据实际位置对图像进行融合裁减,这也是一个非常综合和复杂的研究难点。
在移动工作台进行图像采集时,如果工件表面有起伏特征时,高度方向可能会偏离聚焦位置,这时需要调整工件上下位置,使显微镜能够聚焦清晰。由于显微镜镜头景深很小,要精确走到聚焦位置比较困难,而且运动不当就容易损坏镜头,所以研究准确高效快速的聚焦控制算法非常必要。
对于图像自动聚焦的控制算法,国内很多学者做了深入的研究。复旦大学何杰提出一种自适应采样步距的快速找焦的方法,其主要思路:首先,初次找焦时电机走大步,找到近似焦点后改走微步,直到精确找到焦点;其次,在图像焦点的评价算法方面,主要集中在找到边界梯度值之和最大的位置,其方法有多种,如Sobel算子法等,通常边界检测的一些算子等都可以找到适合整个系统的最优的算法。华中科技大学杨少波提出最大熵值法找焦,通过获取图像的各点灰度值的方差和的最大值来获得最佳聚焦位置。
尽管各种理论和方法都被学者提出,但在具体系统的图像自动聚焦的控制算法中,要实现聚焦的“快”且“准”都是一个难题。因为采集图像的位置和实际记录的位置可能有超前和滞后的问题,若搜寻步距大,则费时少,但又不精确;若搜寻步距小,虽精确,但费时多。因此,“快且准”是综合协调后找到的一个合适的平衡点。另外本课题还存在的一个问题是,显微镜的景深小,如果走步方向和步距不合适,容易让工件碰撞镜头,损坏显微镜。所以要研究合适的聚焦控制算法,需要了解工作台、相机、运动控制卡和图像采集卡的特性,选择合适的评价函数和适当的运动控制算法,进行全面研究实验。这亦是本领域研究的一个重点。
3 结束语
图像无缝拼接技术在大视场显微测量系统,可用于显微医学图像、红外成像检测等领域。目前国内的三甲医院有700家,基于图像无缝拼接的大视场显微测量系统如果能够应用到其中,能够有效提高医学处理的智能化程度和精密度,治病救人,有利于人民健康水平的提升,消除医患纠纷,促进社会和谐。该技术还可以用于工业制造,取代落后的人工手动检测,如自动装配线中检测零件的质量、几何尺寸测量及自动检测等。同时,还可用于材料分析、弹性力学的应力分析、流体力学的阻力和升力分析等其它高科技生产研究领域,如能很好地解决上述几大难点,将非常有利于提高我国制造业精密化水平和科研水平,其产业化前景和社会意义非常重大。
参考文献
[1] Mike Holmes, Robert Hocken, David Trumper. The long-range Scanning stage: a novel platform for scanned-probe microscopy. Journal of the International Societies for Precision Engineering and Nanotechnology, 2000, 24(3):191-209.
[2] Kuang-chao Fan, Mu-Jung Chen. A 6-degree-of-freedom measurement system for the accuracy of X-Y stages. Precision Engineering, 2000, 24(1):15-23.
[3] Yih-Tun Tseng, Jui-Hung Liu. High-speed and precise positioning of a X-Y table. Control Engineering Practice, 2003, 11(4):357-365.