1、 机器视觉硬件选型基础目录1 机器视觉基础知识1.1 机器视觉概述1.2 相机（camera）1.3 镜头（lens）1.4 图像采集卡（frame grabber）1.5 光源（illumination）1.6 视觉开发软件(vision SDK)1.7 智能相机（smart camera）2 典型案例3.1 定位& 引导（ Locate & Guide ）3.2 几何尺寸测量（Gauging）3.3 缺陷检测 （Flaw Inspection）3.4 光学字符检测/识别（ OCV/OCR）1 机器视觉基础知识1.1 机器视觉的概念机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通
2、过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不
3、高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。半导体行业是最先利用机器视觉技术进行检测的行业，其他行业也随之而来。作为生产机械的 OEM 的设计工程师，最基本的问题就是： “我是要检测这个部件还是整个这个产品”。检测可以得到高质量的产品，但是也会有这样的事实存在：检测成本或者产品质量要求并不需要这样的检测。比如说牙签，假设在一个装有 500 个牙签的盒子里有一两个不合格，大多数人都不会怎么担心。但是对于很多产品，假如前面的盒子里装的不是牙签，而是针头，试想不合格品可能会带来什么样的后果，所以产品功能性的检测都是不可缺
4、少的，即使只是外观检测，要证明内在的品质也必须要做到无缺陷。因此，为了达到这个目的，许多 OEM 将机器视觉应用到他们将要卖给用户的系统中。机器视觉能够为整个系统增值，表现在三个方面：提高生产效率，提高制造过程的精确性，减少成本。那么，对于一个设计工程师来说，怎么样才能知道机器视觉是否适合他的系统呢？尽管最早的最基本的机器视觉系统在 20 世纪 70 年代引入，工业就将其视为主流应用。这就导致设计工程师要考虑它是否合适他们的应用，同时要考虑利用机器视觉检测的成本与其所能带来的利润。高复杂度产品行业，比如说半导体行业和电子行业，由于它们的复杂性和小型化，从传统上推动着机器视觉市场的发展。但是如今
5、，所有产业，包括自动化、制药、造纸等等都依靠机器视觉系统检测产品以提高产品质量。工业专家们预言：在未来的 20年到 50 年，机器视觉将成为横跨所有行业的通用性技术，几乎所有出产的产品都会由机器视觉系统来检测。使用机器视觉系统有以下五个主要原因：精确性 由于人眼有物理条件的限制，在精确性上机器有明显的优点。即使人眼依靠放大镜或显微镜来检测产品，机器仍然会更加精确，因为它的精度能够达到千分之一英寸。重复性 机器可以以相同的方法一次一次的完成检测工作而不会感到疲倦。与此相反，人眼每次检测产品时都会有细微的不同，即使产品时完全相同的。速度 机器能够更快的检测产品。特别是当检测高速运动的物体时，比如说
6、生产线上，机器能够提高生产效率。客观性 人眼检测还有一个致命的缺陷，就是情绪带来的主观性，检测结果会随工人心情的好坏产生变化，而机器没有喜怒哀乐，检测的结果自然非常可观可靠。成本 由于机器比人快，一台自动检测机器能够承担好几个人的任务。而且机器不需要停顿、不会生病、能够连续工作，所以能够极大的提高生产效率。一旦工程师决定使用机器视觉系统，就需要建立这个系统。其中要素包括：照明光源、工件放置（夹具） 、相机、位置传感器、控制逻辑、以及图像采集卡，图像处理软件、技术支持。由于大多数厂商在这个领域都没有经验，机会来了。所以，寻找一个既了解核心技术又能为其提供系统所需产品的供应商就成为关键问题。典型的
7、基于PC的视觉系统通常由如图1.1.1所示的几部分组成： 参考文献： How To Plan Your PC-Based Machine Vision System图 1.1.1 基于 PC 的视觉系统基本组成相机与镜头这部分属于成像器件，通常的视觉系统都是由一套或者多套这样的成像系统组成，如果有多路相机，可能由图像卡切换来获取图像数据，也可能由同步控制同时获取多相机通道的数据。根据应用的需要相机可能是输出标准的单色视频（RS-170/CCIR） 、复合信号（Y/C） 、RGB 信号，也可能是非标准的逐行扫描信号、线扫描信号、高分辨率信号等。光源作为辅助成像器件，对成像质量的好坏往往能起到至关
8、重要的作用，各种形状的 LED 灯、高频荧光灯、光纤卤素灯等都容易得到。传感器 通常以光纤开关、接近开关等的形式出现，用以判断被测对象的位置和状态，告知图像传感器进行正确的采集。图像采集卡通常以插入卡的形式安装在 PC 中，图像采集卡的主要工作是把相机输出的图像输送给电脑主机。它将来自相机的模拟或数字信号转换成一定格式的图像数据流，同时它可以控制相机的一些参数，比如触发信号，曝光/积分时间，快门速度等。图像采集卡通常有不同的硬件结构以针对不同类型的相机，同时也有不同的总线形式，比如 PCI、PCI64、Compact PCI，PC104，ISA 等。PC 平台电脑是一个 PC 式视觉系统的核心
9、，在这里完成图像数据的处理和绝大部分的控制逻辑，对于检测类型的应用，通常都需要较高频率的 CPU，这样可以减少处理的时间。同时，为了减少工业现场电磁、振动、灰尘、温度等的干扰，必须选择工业级的电脑。视觉处理软件机器视觉软件用来完成输入的图像数据的处理，然后通过一定的运算得出结果，这个输出的结果可能是 PASS/FAIL 信号、坐标位置、字符串等。常见的机器视觉软件以 C/C+图像库，ActiveX 控件，图形式编程环境等形式出现，可以是专用功能的（比如仅仅用于 LCD 检测，BGA 检测，模版对准等） ，也可以是通用目的的（包括定位、测量、条码/字符识别、斑点检测等） 。控制单元（包含 I/O
10、、运动控制、电平转化单元等）一旦视觉软件完成图像分析（除非仅用于监控） ，紧接着需要和外部单元进行通信以完成对生产过程的控制。简单的控制可以直接利用部分图像采集卡自带的 I/O，相对复杂的逻辑/ 运动控制则必须依靠附加可编程逻辑控制单元/运动控制卡来实现必要的动作。上述的 7 个部分是一个基于 PC 式的视觉系统的基本组成，在实际的应用中针对不同的场合可能会有不同的增加或裁减。在本章余下的小结则将针对视觉领域的核心部件进行详细的介绍。1.2 相机（Camera）这里所说的相机主要指工业相机/摄像机，相比与民用的相机 /摄像机它有高的图像稳定性、图像质量、传输能力和抗干扰能力等，因而价格也相比民
11、用相机贵。以前的相机多是基于是显像管的。如今，随着固体成像器件的发展，市面上大多是基于CCD（ Charge Coupled Device）或 CMOS（Complementary Metal Oxide Semiconductor）芯片的相机。CCD 是目前机器视觉最为常用的图像传感器。它集光电转换及电荷存贮、电荷转移、信号读取于一体，是典型的固体成像器件。CCD 的突出特点是以电荷作为信号，而不同于其器件是以电流或者电压为信号。这类成像器件通过光电转换形成电荷包，而后在驱动脉冲的作用下转移、放大输出图像信号。典型的 CCD 相机由光学镜头、时序及同步信号发生器、垂直驱动器、模拟 /数字信号
12、处理电路组成。CCD 作为一种功能器件，与真空管相比，具有无灼伤、无滞后、低电压工作、低功耗等优点。CMOS 图像传感器的开发最早出现在 20 世纪 70 年代初。90 年代初期，随着超大规模集成电路 (VLSI) 制造工艺技术的发展，CMOS 图像传感器得到迅速发展。CMOS 图像传感器将光敏元阵列、图像信号放大器、信号读取电路、模数转换电路、图像信号处理器及控制器集成在一块芯片上，还具有局部像素的编程随机访问的优点。目前，CMOS 图像传感器以其良好的集成性、低功耗、高速传输和宽动态范围等特点在高分辨率和高速场合得到了广泛的应用。相机按照芯片类型、传感器结构特性、扫描方式、分辨率大小、输出
13、信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法：按照芯片类型可以分为 CCD 相机、CMOS 相机；按照传感器的结构特性可以分为线阵相机、面阵相机；按照扫描方式可以分为隔行扫描相机、逐行扫描相机；按照分辨率大小可以分为普通分辨率相机、高分辨率相机；按照输出信号方式可以分为模拟相机、数字相机；按照输出色彩可以分为单色（黑白）相机、彩色相机；按照输出信号速度可以分为普通速度相机、高速相机；按照响应频率范围可以分为可见光（普通）相机、红外相机、紫外相机。在下面的章节中，将以目前应用较普遍的 CCD 相机为主来介绍工业相机。用于数字图像处理的 CCD 相机一般由两部分组成：图像获取
14、单元和图像输出单元。图像获取与显像管比较，CCD 芯片由独立的光敏元件构成，每一个光敏元件表示一个像素，因此能够传输二维的离散图像。而且体积、重量都比较小，具有高动态、高线性，对机械、磁场、光影响不敏感。并且由于市场的大量生产，CCD 相机也相对便宜一些。CCD 的突出特点是以电荷作为信号，而不同于其他大多数器件是以电流或者电压为信号。图 1.2.1 为 CCD 实现光电转换的示意图,可以形象地喻为往井或桶内注水，因而半导体物理中用“ 势阱” 的概念描述用来收集光激发电荷的积分区域，其中单个像素所能存储的最大光电荷量（不向其邻近像素溢出） ，也称为“满阱容量”。CCD 的光敏单元收集光子与产生
15、的电子数目有良好的线性关系，通常来说，2 个光子产生一个电子，在输出单元 50000 个电子产生一个 1 伏的视频信号，增益为 1：1 。由于热效应产生附加的光子，即暗电流，就会产生不期望的噪声。因此采用 CCD 芯片这种非稳态结构不用照明，普通的 CCD 即使在室温的条件下一分钟内就可完全充满电子，而且大约温度每增加 7 摄氏度, 暗电流就会加倍，这就是说芯片的温度升高，噪声就会急剧增加。因此，为了控制暗电流，控制一个比较短的曝光时间非常重要。图 1.2.1 CCD 光电转化示意图传统控制曝光时间的方法是利用机械快门，而如今 CCD 芯片多采用电子曝光控制，即电子快门。在手工操作模式，用户通
16、常可以选择比如 1/50、1/100、1/500 秒的一些离散的快门速度（积分时间） ；而在自动电子快门模式快门速度能够根据入射光的强度自动调整。如果光的强度太弱，则可以通过长积分时间模式或控制增益的方式来增强弱的 CCD 信号。当完成对光敏元区域的扫描后，CCD将光电荷从光敏区域转移至屏蔽存储区域。而后，光电荷被按顺序转移至读出寄存器，电荷耦合器件（CCD）正是由这种电荷耦合式的转移方式，通过在按一定的时序在电极上施加高低电平，可使光电荷在相邻的势阱间进行转移，图1.2.2所示为目前广泛采用的三相电极传送方式。图 1.2.2 三相 CCD 中光电荷的转移CCD 的光敏区域有一维线阵排列和二维
17、面阵排列两种，与其对应的就是线阵（线扫描）相机和面阵（面扫描）相机。图 1.2.3 所示就是两种较典型的线阵 CCD，通常是由 512、1024、2048 、4096 等个像敏元呈一维排列。光敏阵列与转移区 移位寄存器是分开的，移位寄存器被遮挡。在图 1.2.3 中左侧所示的单通道线阵 CCD中，当转移脉冲到来时，线阵光敏阵列势阱中的信号电荷并行转移到同一个 CCD 移位寄存器中，最后在时钟脉冲的作用下一位位地移出器件，形成视频脉冲信号，而在图1.2.3 中左侧所示的双通道线阵 CCD 中，当转移脉冲到来时，线阵光敏阵列势阱中的奇偶位的信号电荷分别并行转移到不同 CCD 移位寄存器中，最后再合
18、并为视频信号输出，这样可以提高传输速度，目前不仅有双通道，甚至有四通道、八通道的线阵相机以加速线阵 CCD 的传输速度。图1.2.3 线阵CCD结构（左为单沟道、右为双沟道）而对于面阵 CCD 相机，顾名思义其像元呈二维阵列分布，图 1.2.4 所示为三种典型的面阵 CCD 结构，最左边为桢转移型面阵 CCD，它由成像区、暂存区和水平读出寄存器三部分构成，它的光存储区域与光敏像素区域分开，因此能够有较大的填充因子和较高的势阱容量模传递函数 MTF 较高的优点，帧转移型 CCD 的缺点就是快门速度不快，并且制造的体积要稍大，就增加了成本；中间的为全帧型面阵 CCD，当积分完成后通过快门屏蔽入射光
19、然后开始进行行转移，他可以具有比较大的光敏区域比例；最右边为行间转移型 CCD，每列像敏单元的旁边都有一个垂直移位寄存器，行间转移CCD 只需要约 1uS 的时间就可完成光电荷至垂直移位寄存器的转移，从而很好地解决了帧转移 CCD 因转移速度不够快而带来的图像模糊问题。同时，由于行间转移 CCD的垂直移位寄存器所占的面积均被遮蔽，所以其对输入光的利用率以及像素密度相对较低。图1.2.4 面阵CCD结构（左为桢转移、中为全桢转移、右为行间转移）CCD芯片总会给出一些基本参数或特性，您想知道某种CCD 相机是否能够满足您的应用，那么这些参数或特性正是您所要关心的。CCD芯片的基本参数之一就是分辨率
20、，单位为有效像素。以面阵相机为例，支持CCIR制式的相机能够提供768576有效像素的图像输出，支持RS-170 （EIA ）制式的相机能够提供640480 有效像素的图像输出，比较常见的百万像素相机可以提供1280 1024有效像素。有效像素区域的大小，即CCD芯片尺寸同样是一个重要的参数。图1.2.5 所示的一些常见面阵CCD芯片尺寸，通常都会以英寸表示，图中分别对应了其实际尺寸。图1.2.5 常见面阵CCD芯片尺寸频谱响应特性是另外一个重要的光学参数。图1.2.6中所示的实线是典型CCD 芯片的频谱响应。通常，为了使CCD与人眼的频谱相似（即使CCD 获取的照片更有真实感）或者排除温度等
21、对CCD相机的影响，相机中会提供一个红外滤波片来实现，如图中点划线所示。假如有一些应用需要对近红外光（NIR ）有高的频谱响应来达到图像效果，在这种情况下，就需要一个峰值大约750纳米的CCD 芯片，这种芯片还可以通过标准CCD芯片技术达到，因而价格相比还不是很贵。但标准CCD 技术对紫外光(UV)以及中（MIR ）、远红外光（FIR）是不适用的，这些区域需要特殊的CCD 器件或者完全不同的技术,因而价格也贵很多。图1.2.6 常见CCD芯片频谱响应曲线CCD芯片本身没有区分颜色的能力，比如说，不同的波长就产生不同的光子能量。因此，要通过CCD获得颜色信息，就必须获取混合光中三基色（RGB ）
22、分量。彩色CCD芯片获取RGB信息通常有两种方法：最常见的也是相对简单就是在CCD相邻像素上依次加上红、绿、蓝色的滤波片（mosaic filters），在一个芯片上将彩色分量分离，这样我们就得到与我们眼睛看到的相似的红绿蓝相邻像素，使用这种技术的相机比较便宜，而且不需要特殊的镜头，缺点就是分辨率比较低。而获取高分辨率的彩色图像则多利用三CCD技术，利用棱镜将进入相机的光分成三种颜色，三种颜色的光分别映射到另外三个独立的CCD芯片，利用这种技术的相机能够保证高的质量，不过价格也较高，另外，需要使用特殊的镜头。如果您的应用有高分辨率图像的需要，通常的标准视频制式的工业相机可能不能获得。您可以通过
23、采用高分辨率的面阵CCD相机，也可以采用线阵CCD 相机，通常采用线阵CCD不仅价格相对便宜，也容易获取高一些的速度。图像输出图像输出单元产生一个适合后续图像处理的视频信号。在标准的相机中，获取的图像将转换成遵循某一种国际视频标准的视频信号：在标准相机中，获取的图像转换成一个遵循国际标准之一的视频信号，对欧洲为 CCIR 标准，对美国为 EIA 制定的RS-170 标准。 基于 CCIR 标准，有两个彩色标准 :PAL 制式和 SECAM 制式。对 RS-170 标准的彩色的延展就是 RS-170a，即 NTSC 标准。非标准相机的输出单元要遵循一定的规则，与特定的形式无关，一般是基于 RS-
24、422 标准的。从技术角度考虑，由于避免了视频标准的限制，数字相机是比较理想的选择；而从经济的角度考虑，这些标准太重要了而不可能完全摆脱它们。下图是标准制式相机的原理图，CCD 完成积分控制后奇数行和偶数行按先后依次转移到输出寄存器（通常将所有奇数行或所有偶数行组成的图像称为一场（field） ，而两场合并后才称为一桢（frame ） ，然后通过相机内部的同步产生器在每行像素前插入行同步信号（HD） ，在经过若干行达到一个场时插入场同步信号（VD） 。图 1.2.7 标准制式相机的原理图相机的一个重要的非标准选项就是像素时钟输出，来自 CCD 芯片的像素传输的内部时钟可以适用于后续的图像处理单元，这种像素数据的精确传输是对精确测量的预获取，此外很多相机也能接受外部的时钟输入来进行外同步。另一种对外部事件的响应是用外部事件来触发相机，在测量运动物体的时候这是非常重要的，比如由光电开关触发相机。隔行扫描是多年前作为电视广播标准的一部分而发展起来的，它主要发展是为了在有效的信号带宽内改进运动影像，目前的视频标准依然依赖于早期的显像管相机和显示屏技术，在如今 CCD 芯片和纯平显示的年代，这些只会给机器视觉应用带来麻烦，却依然大量应用似乎很奇怪了，前面已经提到这还是由于必须考虑价格因素。对于显
