机器视觉车辆检测现状分析论文

深度学习是人工智能的热点发展方向之一，将推动我们步入控制设计和工业物联网的新台阶。机器视觉在工业控制领域极其重要，借助这些技术，使用数据驱动部署复杂的机器和设备。为了比竞争对手更好地服务其目标客户，当今的嵌入式设计团队正在寻求机器学习（ML）和深度学习（DL）等新技术，以便在有限的资源下按时向市场开发和部署复杂的机器和设备。借助这些技术，团队可以使用数据驱动的方法构建复杂的单系统或多系统模型。 ML和DL算法不是使用基于物理学的模型来描述系统的行为，而是透过数据推断出系统的模型。 传统ML算法适用于处理数据量相对较小且问题的复杂度较低的情况。 但如果是像自动驾驶汽车这样的大数据问题呢？ 解决这个挑战需要采用DL技术。 本文介绍了这种新兴技术将如何推动我们进入控制设计和工业物联网（IIoT）应用的下一个时代。

根据我在广东粤为工业机器人学院学习的知识所知：在中国，视觉技术的应用开始于90年代，因为行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白。目前国内机器视觉大多为国外品牌。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家，随着机器视觉的不断应用，公司规模慢慢做大，技术上已经逐渐成熟。随着经济水平的提高，3D机器视觉也开始进入人们的视野。3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力，在生产过程的早期就报废劣质产品，从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。在行业应用方面，主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业，用机器视觉技术取代人工，可以提供生产效率和产品质量。例如在物流行业，可以使用机器视觉技术进行快递的分拣分类，不会出现大多快递公司人工进行分拣，减少物品的损坏率，可以提高分拣效率，减少人工劳动。

在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。

1、触摸屏

随着技术的发展，人们对电子产品交互体验的要求越来越高，触摸屏作为新一代电子产品输入设备正逐步成为平板电脑、手机、电子书、GPS、游戏机等设备的新宠。触摸屏生产工艺复杂，从上游的ITO 玻璃镀膜、光刻、IC 组件加工，到中游的触摸屏模组贴合、丝网印刷、切割，再到下游的触摸屏模组贴合、盖板玻璃(Coverlens) 检测，都对工艺提出更高要求，使机器视觉技术成为相关环节生产和质量检测的必要技术。

2、FPD

FPD（Flat Panel Display）行业包括LCD、LED、OLED 等多种显示设备，各种技术工艺流程都非常复杂，其中LCD 是当前最主要的显示技术。FPD 行业对生产效率和产品品质有极高的要求，机器视觉技术作为非接触、高精度、高速度的生产、检测能力成为不可或缺的技术手段，从前道的ITO 玻璃检测、背光模组检测，到Cell 贴合、LCD 模组的COG 设备、对位贴合、切割机、飞针探测设备等、机器视觉技术的应用提高了设备厂商的核心竞争力。

3、激光加工

激光加工是一种应用广泛的工业加工技术，利用对激光器的运动控制，实现高精度的打标、切割、雕刻、焊接等功能。随着激光加工的工艺升级，传统技术已经不能满足工业加工对高精度高速度的要求，这使机器视觉技术与激光加工技术开始融合，通过视觉的定位和引导实现高精度加工，降低了对高成本精密卡具的需求，提升设备精度，降低加工成本。

4、太阳能

太阳能作为最有价值的未来绿色能源之一，是国家重点发展的行业领域，短期相对的产能过剩对太阳能电池生产设备提出更高的要求，从硅锭、硅片纯度、到加工镀膜过程的质量控制，都会影响最后太阳能电池片的光电转换效率，高质量产线能够降低废品率、从而降低生产能耗与太阳能电池片产出比，使太阳能成为真正的清洁能源，在太阳能电池片生产过程中，通过运用机器视觉定位、测量、检测等技术，可大大提高成品率，降低生产成本。

5、半导体

半导体技术是现代信息产业的根基，也是机器视觉技术最早的发源地。上世纪90年代，欧美半导体企业在半导体行业中应用图像技术，使其后来逐步发展成为今天的机器视觉技术，并成为半导体工艺不可或缺的关键技术。同时半导体产业规模庞大，行业摩尔效应对行业工艺不断提出挑战，也对其生产设备中的机器视觉技术的要求不断提升。

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。一个典型的工业机器视觉应用系统包括如下部分：光源，镜头，CCD照相机，图像处理单元（或图像捕获卡），图像处理软件，监视器，通讯/输入输出单元等。首先采用摄像机获得被测目标的图像信号， 然后通过A/ D 转换变成数字信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，然后再根据预设的判别准则输出判断结果，去控制驱动执行机构进行相应处理。机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。 机器视觉强调实用性，要求能够适应工业现场恶劣的环境，要有合理的性价比、通用的工业接口、较高的容错能力和安全性，并具有较强的通用性和可移植性。 它更强调实时性，要求高速度和高精度。视觉系统的输出并非图像视频信号，而是经过运算处理之后的检测结果，如尺寸数据。上位机如PC和PLC实时获得检测结果后，指挥运动系统或I/O系统执行相应的控制动作，如定位和分选。从视觉系统的运行环境分类，可分为PC-BASED系统和PLC-BASED系统。基于PC的系统利用了其开放性，高度的编程灵活性和良好的Windows界面，同时系统总体成本较低。以美国DATA TRANSLATION公司为例，系统内含高性能图像捕获卡，一般可接多个镜头，配套软件方面，从低到高有几个层次，如Windows95/98/NT环境下C/C++编程用DLL，可视化控件activeX提供VB和VC++下的图形化编程环境，甚至Windows下的面向对象的机器视觉组态软件，用户可用它快速开发复杂高级的应用。在基于PLC的系统中，视觉的作用更像一个智能化的传感器，图像处理单元独立于系统，通过串行总线和I/O与PLC交换数据。系统硬件一般利用高速专用ASIC或嵌入式计算机进行图像处理，系统软件固化在图像处理器中，通过类似于游戏键盘的简单装置对显示在监视器中的菜单进行配置，或在PC上开发软件然后下载。基于PLC的系统体现了可靠性高、集成化，小型化、高速化、低成本的特点，代表厂商为日本松下、德国Siemens等。德国Siemens公司在工业图像处理方面拥有超过20年经验积累，SIMATIC VIDEOMAT是第一个高性能的单色和彩色图像处理系统，并成为SIMATIC自动化系统中极重要的产品。而99年推出的SIMATIC VS710是业内第一个智能化的、一体化的、带PROFIBUS接口的、分布式的灰度级工业视觉系统，它将图像处理器、CCD、I/O集成在一个小型机箱内，提供PROFIBUS的联网方式（通讯速率达12Mbps）或集成的I/O和RS232接口。更重要的，通过PC WINDOWS下的Pro Vision参数化软件进行组态，VS 710第一次将PC的灵活性，PLC的可靠性、分布式网络技术，和一体化设计结合在一起，使得西门子在PC和PLC体系之间找到了完美的平衡。机器视觉系统在印刷包装中的应用 自动印刷品质量检测设备采用的检测系统多是先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。CCD线性传感器将每一个像素的光量变化转换成电子信号，对比之后只要发现被检测图像与标准图像有不同之处，系统就认为这个被检测图像为不合格品。印刷过程中产生的各种错误，对电脑来说只是标准图像与被检测图像对比后的不同，如污迹、墨点色差等缺陷都包含在其中。最早用于印刷品质量检测的是将标准影像与被检测影像进行灰度对比的技术，较先进的技术是以RGB三原色为基础进行对比。全自动机器检测与人眼检测相比，区别在哪里?以人的目视为例，当我们聚精会神地注视某印刷品时，如果印刷品的对比色比较强烈，则人眼可以发现的、最小的缺陷，是对比色明显、不小于的缺陷；但依靠人的能力很难保持持续的、稳定的视觉效果。可是换一种情况，如果是在同一色系的印刷品中寻找缺陷，尤其是在一淡色系中寻找质量缺陷的话，人眼能够发现的缺陷至少需要有20个灰度级差。而自动化的机器则能够轻而易举地发现大小的缺陷，即使这种缺陷与标准图像仅有一个灰度级的区别。但是从实际使用上来说，即便是同样的全色对比系统，其辨别色差的能力也不同。有些系统能够发现轮廓部分及色差变化较大的缺陷，而有些系统则能识别极微小的缺陷。对于白卡纸和一些简约风格的印刷品来说，如日本的KENT烟标、美国的万宝路烟标，简单地检测或许已经足够了，而国内的多数印刷品，特别是各种标签，具有许多特点，带有太多的闪光元素，如金、银卡纸，烫印、压凹凸或上光印刷品，这就要求质量检测设备必须具备足够的发现极小灰度级差的能力，也许是5个灰度级差，也许是更严格的1个灰度级差。这一点对国内标签市场是至关紧要的。标准影像与被检印刷品影像的对比精确是检测设备的关键问题，通常情况下，检测设备是通过镜头采集影像，在镜头范围内的中间部分，影像非常清晰，但边缘部分的影像可能会产生虚影，而虚影部分的检测结果会直接影响到整个检测的准确性。从这一点来说，如果仅仅是全幅区域的对比并不适合于某些精细印刷品。如果能够将所得到的图像再次细分，比如将影像分为1024dpi X 4096dpi或2048dpi X 4096dpi，则检测精度将大幅提高，同时因为避免了边缘部分的虚影，从而使检测的结果更加稳定。采用检测设备进行质量检测可提供检测全过程的实时报告和详尽、完善的分析报告。现场操作者可以凭借全自动检测设备的及时报警，根据实时分析报告，及时对工作中的问题进行调整，或许减少的将不仅仅是一个百分点的废品率，管理者可以依据检测结果的分析报告，对生产过程进行跟踪，更有利于生产技术的管理。因为客户所要求的，高质量的检测设备，不仅仅是停留在检出印刷品的好与坏，还要求具备事后的分析能力。某些质量检测设备所能做的不仅可以提升成品的合格率，还能协助生产商改进工艺流程，建立质量管理体系，达到一个长期稳定的质量标准。凹版印刷机位置控制及产品检测由设置在生产线上的摄像机连续摄取印制品的视频图像，摄像的速度在30 帧/s 以下且可调。摄像机采集到的图像，首先进行量化，将模拟信号转化成数字信号，从中抽取一张有效代表镜头内容的关键帧，并将其显示在显示器上。对于一帧图像，可采用对静止图像的分析方法来处理，通过尺寸测量和多光谱分析可识别出视频图像上各色标，得出色标间距和色标的颜色参数以及一些其他相关。由于各种因素影响，会出现各种各样的噪声，如高斯噪声、椒盐噪声及随机噪声等。噪声给图像处理带来很多困难，它对图像分割，特征提取，图像识别，具有直接的影响，因此实时采集的图像需进行滤波处理。图像滤波要求能去除图像以外的噪声，同时又要保持图像的细节。当噪声为高斯噪声时，最常使用的是线性滤波器，易于分析和实现；但线性滤波器对椒盐噪声的滤波效果很差，传统的中值滤波器能减少图像中的椒盐噪声，但效果不算理想，即充分分散的噪声被去掉，而彼此靠近的噪声会被保留下来，所以当椒盐噪声比较严重时，它的滤波效果明显变坏。本系统改进型中值滤波法。该方法首先求得噪声图像窗口中去除最大和最小灰度值像素后的中值，然后计算该中值与对应的像素灰度值的差，再与阈值相比较以确定是否用求得的值代替该像素的灰度值。图像分割在该阶段中检测出各色标并与背景分离，物体的边缘是由灰度不连续性所反映的L 边缘种类可分为两种，其一是阶跃性边缘，它两边的像素的灰度值有显著不同；其二是屋顶状边缘，它位于灰度值从增加到减小的变化转折点L对于阶跃性边缘，其二阶方向导数在边缘处呈零交叉，因而可用微分算子来做边缘检测算子。微分算子类边缘检测法类似于高空间域的高通滤波，有增加高频分量的作用，这类算子对噪声相当敏感，对于阶跃性边缘，通常可用的算子有梯度算子Sobel 算子和Kirsh 算子。对于屋顶状边缘可用拉普拉斯变换和Kirsh 算子。由于色标为长方形，且相邻边缘灰度级相差较大，故采用边缘检测来分割图像。这里采用Sobert 边缘子来进行边缘检测，它是利用局部差分算子来寻找边缘，能较好的将色标分离出来。在实际的检测过程中，采用彩色图像边缘检测方法，选择合适的彩色基(如强度、色度、饱和度等)来进行检测。根据印刷机的类型特点，即印刷机各色的颜色和版图的特点，进行多阈值处理，得到各色的二值图。将分割后的图像进行测量，通过测量值来识别物体，由于色标为形状规则的矩形，所以可对下述特征进行提取：(1) 由像素计算矩形面积，(2) 矩形度，(3) 色度(H ) 和饱和度(S )，然后根据各色标的间隔的像素点数量得到色标间的间距，与设定值比较，得到两者的差值，共进行m 次测量，取平均差值，给数字交流伺服调节部分提供相应的调节信号。以调节色辊的相对位置，从而消除或减少印刷错位。在特征提取时，对图像进行多光谱图像分析，可以定量地表示色标，如彩色数图像中像素的颜色，采用HIS 格式得到各色标颜色信息的两个参数：色度和饱和度，以此来检测油墨的质量。对各色二值图再进行统计计算或与标准图形进行样板匹配，测量印刷过程中墨屑等参数。印刷机由开卷机放卷运行依次经过各印刷单元，进行各色的印刷和烘干，由收卷机进行收卷L 每色印刷都会在印料的边沿印上以供套色用的色标，该色标线水平10mm，宽1 mm ，每个相邻颜色的标志线在套印精确时应相互平行，垂直(纵向)相巨20 mm，由设置在生产线上的摄影机连续摄取印制品的视频图像，通过尺寸测量和多光谱分析可识别出视频图像上各色标，得出色标间距和色标的颜色参数L如果相邻两色色标间隔大于或小于20 mm ，则说明套印出现了偏差。将该偏差信号送给伺服变频驱动单元，驱动交流伺服电机，使相应的套色修正辊ML上下移动来延长或缩短印料自上一单元印刷版辊到该单元印刷版辊的行程来动态修正。 在现代包装工业自动化生产中，涉及到各种各样的检查、测量，比如饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常高。通常这种带有高度重复性和智能性的工作只能靠人工检测来完成，我们经常在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证100%的检验合格率（即零缺陷），而当今企业之间的竞争，已经不允许哪怕是0。1%的缺陷存在。有些时候，如微小尺寸的精确快速测量，形状匹配，颜色辨识等，用人眼根本无法连续稳定地进行，其它物理量传感器也难有用武之地。这时，人们开始考虑把计算机的快速性、可靠性、结果的可重复性，从而引入了机器人视觉技术。一般地说，首先采用CCD照相机将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，如：面积、长度、数量、位置等；最后，根据预设的容许度和其他条件输出结果，如：尺寸、角度、偏移量、个数、合格/不合格、有/无等。机器视觉的特点是自动化、客观、非接触和高精度，与一般意义上的图像处理系统相比，机器视觉强调的是精度和速度，以及工业现场环境下的可靠性。 机器视觉极适用于大批量生产过程中的测量、检查和辨识，如：对IC表面印字符的辨识，食品包装上面对生产日期的辨识，对标签贴放位置的检查。 在机器视觉系统中；关键技术有光源照明技术、光学镜头、摄像机、图像采集卡、图像处理卡和快速准确的执行机构等方面。在机器视觉应用系统中；好的光源与照明方案往往是整个系统成败的关键；起着非常重要的作用；它并不是简单的照亮物体而已。 光源与照明方案的配合应尽可能地突出物体特征量；在物体需要检测的部分与那些不重要部份之间应尽可能地产生明显的区别；增加对比度；同时还应保证足够的整体亮度；物体位置的变化不应该影响成像的质量。在机器视觉应用系统中一般使用透射光和反射光。 对于反射光情况应充分考虑光源和光学镜头的相对位置、物体表面的纹理；物体的几何形状、背景等要素。光源的选择必须符合所需的几何形状、照明亮度、均匀度、发光的光谱特性等；同时还要考虑光源的发光效率和使用寿命。光学镜头相当于人眼的晶状体；在机器视觉系统中非常重要。 一个镜头的成像质量优劣；即其对像差校正的优良与否；可通过像差大小来衡量；常见的像差有球差、彗差、像散、场曲、畸变、色差等六种。摄像机和图像采集卡共同完成对物料图像的采集与数字化。 高质量的图像信息是系统正确判断和决策的原始依据；是整个系统成功与否的又一关键所在。 在机器视觉系统中；CCD 摄像机以其体积小巧、性能可靠、清晰度高等优点得到了广泛使用。 CCD 摄像机按照其使用的CCD 器件可以分为线阵式和面阵式两大类。 线阵CCD 摄像机一次只能获得图像的一行信息；被拍摄的物体必须以直线形式从摄像机前移过；才能获得完整的图像；因此非常适合对以一定速度匀速运动的物料流的图像检测；而面阵CCD 摄像机则可以一次获得整幅图像的信息。图像信号的处理是机器视觉系统的核心；它相当于人的大脑。 如何对图像进行处理和运算；即算法都体现在这里；是机器视觉系统开发中的重点和难点所在。 随着计算机技术、微电子技术和大规模集成电路技术的快速发展；为了提高系统的实时性；对图像处理的很多工作都可以借助硬件完成；如DSP、专用图像信号处理卡等；软件则主要完成算法中非常复杂、不太成熟、尚需不断探索和改变的部分。从产品本身看，机器视觉会越来越趋于依靠PC技术，并且与数据采集等其他控制和测量的集成会更紧密。且基于嵌入式的产品将逐渐取代板卡式产品，这是一个不断增长的趋势。主要原因是随着计算机技术和微电子技术的迅速发展，嵌入式系统应用领域越来越广泛，尤其是其具备低功耗技术的特点得到人们的重视。另外，嵌入式操作系统绝大部分是以C语言为基础的，因此使用C高级语言进行嵌入式系统开发是一项带有基础性的工作，使用高级语言的优点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高、可维护性好、便于不断完善和升级换代等。因此，嵌入式产品将会取代板卡式产品。由于机器视觉是自动化的一部分，没有自动化就不会有机器视觉，机器视觉软硬件产品正逐渐成为协作生产制造过程中不同阶段的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用标准化技术，直观的说就是要随着自动化的开放而逐渐开放，可以根据用户的需求进行二次开发。当今，自动化企业正在倡导软硬一体化解决方案，机器视觉的厂商在未来5-6年内也应该不单纯是只提供产品的供应商，而是逐渐向一体化解决方案的系统集成商迈进。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。