1、Cognex调研 1. 概述 Cognex 是一家美国公司，是机器视觉系统、软件以及自动化生产中使用的传感器、装配机器人的制造商。 Cognex 实在 20 世纪 80 年代初期探讨机器视觉的商业应用的首批公司之一。 VisionPro是 Cognex公司开发的一款视觉系统工具包，具有以下特性： 1) 快速开发强大的应用系统 Cognex VisionPro系统组合了世界上一流的机器视觉技术，具有快速而强大的应用系统开发能力。 包括图像预处理、图像拼接、图像标定、集合校正、定位、OCV/ID、图像几何测量、结果分析等功能。在 VisionPro 的 QuickStart 环境中，利用拖放工具，
2、 无需任何代码编程，就可以完成检查文件的设置，检测结果输出，以加速应用原型的开发。这一成果在应用开发的整个周期内都可应用。通过使用基于 Com/ActiveX的 VisionPro机器视觉工具和 Visual Basic， Visual C+等图形化编程环境，开发应用系统。与 MVS-8100 系列图像采集卡相配合， VisionPro使得制造商、系统集成商、工程师能够快速开发和配置出强大的机器视觉应用系统。 2) 快速建立原型和易于集成 VisionPro 的两层软件架构便于建立原型和集成。交互层利用拖放工具盒ActiveX控件以加速应用系统的开发，在程序层，将原型应用开发成用户解放方案。基
3、于 COM/ActiveX技术使 VisionPro应用系统易于集成第三方应用程序（如图形函数），而且为整个机器（例如 IO,计算机控制，工厂通信）提供了基于 Com空间应用的易于集成性。 3) 先进的机器视觉软件 Cognex 的 视觉工具库提供了用于测量、检测、制造 和识别的视觉软件程序组。即使实在最具挑战性的视觉应用中，这些工具也被证实具有高可靠性。 4) 硬件灵活性 VisionPro的用户可以在较大范围内选择 MVS-8100系列图像采集卡，以开发视觉应用。 该软件可以直接和国际大多数相机相连，包括模拟、 1394、千兆网相机等。 经 VisionPro 软件测试和证明，这些图像采集
4、卡为主机提供了用于图像处理和显示的高速图像转移，以获得快速的视觉应用操作。多相机输入、高速度以及对高分辨效率的支持提高了 VisionPro系统的采集灵活性。 5) 技术优势 快速开发强大的基于 PC的视觉应用 简化视觉系统与其他主控制程序的融合处理 兼容多种 Cognex MVS-8100系列图像采集卡 通过 QuickStart拖放工具加速原型应用 配合视觉工具库，以获得高性能 2. VisionPro软件架构 VisionPro提供了易于应用的原型，发展和应用。在交互层，通过系列缩放工具， VisionPro QuickStart 原型环境加速了强大机器视觉系统的开发速度。用户可以很快定
5、义工具，测试工具行为以及有效的运行参数之间的连接。通过 QuickStart或 Vision Basic可访问 ActiveX控件。因此，在程序层，原型应用可以通过 Visual Basic 或 Visual C+增强，以开发出个性化的解决方案。这一性能将使应用系统的开发时间大大缩短。 VisionPro 的结构使用户可以 从 QuickStart ， ActiveX 或Com对象中的任何一层开始他们的应用系统开发。 3. 功能分析 1) 标定 标定动作是为了实现图像显示空间和物理空间之间的坐标映射，主要是数学变换，难点主要在于变换矩阵的选取与实现。 Cognex 和 Mil 都有比较完善的标
6、定功能，对于两个软件的具体变换矩阵不得而知，下面的方法 主要参考封装设备视觉系统软件包的设计这篇论文。 相机标定问题就是建立图像阵列中的像素位置和场景点位置的对应关系，涉及到确定两组参数：用于刚体变换（外部定位）的非固有参数（外参数）和相机自身（内部定位）所拥有的固有参数（内参数）。 刚体变换可以用下式表示，其中 R 为旋转矩阵，从而对应有 12 个外参数。对于旋转变换，其实用 3 个参数就足以确定变化，比如欧拉角描述：绕 X 周旋转角 ，绕新的 y轴旋转角 ，绕新的 z 轴旋转角 ，从而对应有 6 个外参数。另外，对于旋转变换也较为直观的思远数的表示方式，四元数是一个四元矢量q = (q1
7、q2 q3 q4),对于定位求解问题，四元数表示能够给出很好的数值解。 xcyczc=Rxcyczc + t 可见，外参数有多种不同的表示方式，或者说不同的模型，从而也对应这不同的求解算法，同样，相机本身（内参数）也有多种模型，一般分为线性模型和非线性模型，线性模型一般是指经典的小孔模型，如下是所示，共有 5 个参数，分别是图像在 u轴和 v轴上的尺寸因子 fu和 fv,主点坐标 u0 和 v0，畸变因子 s。 非线性模型可以表示成线性模型加上非线性畸变值，如下式所示，其中， 为非线性畸变值，共有 8个参数，径向畸变因子 k1,k2,k3,k4,薄棱镜畸变因子 p1,p2和离心畸变因子 s1，
8、 s2。非线性模型也有很多种，具体模型与考虑的因素以及模型假设有关。对应于内参数的建模及求解已经有了许多相关的研究，本文并不关心具体的模型或算法，而只从软件设计的角度对相机标定进行研究。 2) 预处理 a) 点对点处理 数学运算：加、减、乘、整数除、浮点除、反色、取绝对值、拷贝图像 逻辑运算：与、或、非、与非、或非、异或 手动或自动阈值（二值化，裁剪） 设置缓冲区为一个常数 比较（最大值，最小值） 平移 查找表（ LUT）映射 帧平均处理 b) 统计学运算 生成灰度直方图 查找最小 /最大像素值 定位常像素值 计算两幅图像异同 实现从二维（ 2D）到一维（ 1D）的映射 图像的直方图均衡化处理
9、 c) 滤波处理 去噪和图像平滑：低通高斯滤波、中值滤波、高通滤波 边缘增强：锐化，增强对比度 边缘检测：水平和垂直检测、 Sobel算子检测 Cognex 自带滤波器多但是不支持自定义滤波。在一般应用中， Cognex 定义的滤波器已经可以满足要求了。自定义滤波器虽然应用范围更广，但是设置麻烦。 在边缘检测方面， Cognex仅提供了 Sobel算法。 Sobel为一阶算法，速度快，但是效果差一些，因此 Cognex对要求较高的处理显得无能为力。 d) 形态学运算 腐蚀、膨胀、开、闭、二值匹配等 3) Blob 分析（ Blob 分析是对图像中相同像素的连通区域进行分析，该连通区域成为 bl
10、ob。 Blob 分析可为机器视觉应用提供图像中的斑点的数量、位置、形状和方向，还可以提供相关斑点间的拓扑结构。） Cognex斑点分析非常适用于以下场合的应用： 对象在尺寸、形状或方向上差异很大（训练模型很难或者不可能） 对象有背景中找不到的截然不同的灰度 对象没有重叠或者接触。 Cognex的 Blob分析过程 分析的结果包括：斑点的索引、 ID、几何属性和非集合属性。 在实际应用中， Blob分析是非常重要的一环，大多数的视觉软件均将其视为重点，但是有关 Cognex的 Blob分析精度等级，未查阅到相关资料。 4) 样本匹配 Cognex的样本匹配工具为 PMAlign。其不同于其他的
11、模式定位工具之处在于没有基于像素进行定位，在图像旋转或尺寸拉伸的情况下，像素单元格定位精度低且运行效率也低。取而代之的是， PMAlign工具是基于特征的。一个 PMAlign模式就是一个集合特征集，集合中的每个特征都是不同像素区域边界上的点。特征和特征的空间关系构成模式，特征在模 式匹配方面表现的变化快且精度高。 Cognex基于特征的样本匹配示意图 PMAlign 以任意的合成的变换方法在运动时图像中训练模式。可以将PMAlign受限于某个自由度，这个自由度只有特定的范围，除了这些， PMAlign还可以在最短的时间内找到应用程序中各种满足条件的模式。对每一个在运行时图像中找到的模型实例，
12、都会返回实例的位置以及该模式实例发生变换时对应的自由度值。自由度包括晶体比例大小，允许的偏差角度范围等等。如下图所示： 模型实例变换示意图 当你使用 PMAlign工具训练模式为图片训练模式时， 你可以通过掩模的方法，通过屏蔽掉部分区域，去除包含在训练样本里面的一些特征或小细节，值得注意的是，掩模并不支持形状训练模式，因此在设置形状时，你自己本身就可以去掉一些你不想要的特征或者形状，下图表示了通过掩模的方法去掉了中间几个Cognex的英文字母，这个不是我们想要找的特征。 PMAlign图片训练模式掩模方法示意图 PMAlign 工具在图像中寻找特征准确度主要是通过粒度（或者说间隔尺寸）来控制的
13、。粒度可以这样理解，它是用来表示感兴趣的区域半径大小，单位是像素。如果粒度小的话，在进行特征检测时，就可以 检测得更加细致一点，反之亦然。在实际应用中，一个特征可以表现为小的粒度或者大的粒度，在检测大特征的时候， PMAlign工具使用较大的粒度，而检测小特征时， PMAlign工具则使用较小的。 PMAlign工具使用一个范围的粒度在图像中训练样本，他会自动决定出一个最优的粒度设置，如下图所示，粒度越小，寻找到的样本特征就越多。 粒度选择对样本特征的影响示意图 PMAlign里面也有很多小设置，比如是否忽略极性等，忽略极性会使寻找样本定位时慢 10%左右。因此忽略极性也就是允许一个反色当时形
14、状相同的实例也被计算进去，所以寻找的范围大了，时间也相应加长。 PMAlign工具忽略极性设置示意图 PMAlign计算完模式所做的变化后，还会对目标模式和运行时图像中的模式匹配程度进行打分，得分的范围在 0.0到 1.0之间。 在 PMAlign 工具中，对样本的训练以及识别可以大致分为 3 种： PatMax，PatQuick和 PatFlex。 PatMax和 PatQuick适用于一般的图像识别，他们的原理如上述。区别在于 PatMax比 PatQuick的精度更高，但是需要执 行的时间更长，还有 PatMax算法能够提供额外的分数等其他信息，一般来说， PatMax通过大特征来迅速找
15、到在图片中的跟样本匹配的实例，和通过小特征对实例进行精确定位。 对于一些有明显形变的图像，有两种办法处理：一个是设置一个不为 0的弹性值，使得该形变在 PatMax算法或其他算法容忍程度以内，适用于较小形变的图像，第二种是采用 PatFlex算法。如果选择了 PatFlex算法， PMAlign工具能对识别过程中，图像的非线性形变有较好的支持，并且会返回相关的形状信息，如果你的图像有发生以下形变： 图像畸变示意 图 如果你知道要识别的图像会是上面的那种畸变，那么使用 PatFlex 算法并实现设置好畸变类型会对图像识别的速度和准确度有很大提高。 在样本匹配功能上 Cognex 做的比较好，提供
16、的三个函数各有侧重，基本上能够适应各种需求，这方面应用的实例也非常多。在不少图像处理论坛上讨论其他软件的这个功能都是以 PMAlign为标准的，可见这个是可以作为标准来用的。 5) 图形工具 Cognex 图形工具分为静态的（一旦显示就不会更新）和交互的（可以选择并操纵图形属性在代码中修改并自动更新）。形状包括圆形（ cogcircle类）、坐标轴（ cogcoordinateaxes类）、椭圆（ cogelipse类）、线段（ coglinesegment 类）、点标记（ cogpointmarker 类）、矩形（ cogrectangle类）、矩形放射（ cogrectangleaffin
17、e类）、多边形（ cogpolygn 类）、复合形状（ cogcompositeshape 类）、文本图形（ coggraphiclable类）。 复合形状是一种包括其他几种形状的形状。构成复合形状的所有形状被称为子形状。其两大用途一是创建包含数个总是一种操纵的形状的交互图形 ，二是作为视觉工具的结果图形。 Cognex的图形种类更多更全面，而且从资料上看 Mil没有交互式的图形，这样的话很不方便，在很多方面的应用都受到了限制。在图形工具这个方面 Cognex更加强大，实用。 6) 计算 Cognex 的计算主要是在 blob 模块里面的，面积、周长、质心、坐标轴周围惯量的第三个力矩、几何延伸
18、、主要限制框、斑点中位数、坐标轴周围惯量的第二个力矩、坐标延伸、任意的限制框。 7) 其他 a) 光学字符识别（ OCR， Optical Character Recognition） OCVMax工具可以使用多数 的 字体文 件： 西方语言 TrueType ASCII Unicode字符字体 使用图像字体萃取器创建自己的字体文件 VisionPro帮助中列出了更多的扩展功能 b) 颜色工具 FireWire白色平衡 颜色匹配 复合颜色匹配 颜色分割 Cognex不能直接进行条码识别，不过可以间接处理，实际应用中这个很多。此外， Cognex的颜色处理能力还是很强大的，工业应用也比较多。 字
19、符识别、条码识别和颜色处理在机器视觉中占有很高的比例，有很多的工业应用的实例，从完备的图像处理软件角度来讲的话，这一块是必须的，而且相当重要。 4. 总结 总体来说， Cognex 更偏重于直接的实际应用，在这方面做的也更好，它的教学也都是以实例的方式开展的。从上面的对比中我们就可以看出， Cognex 并不是追求图像处理效果的最佳，而是追求在满足要求的条件下处理的最快、占用的资源更省，以使生产的利润最大化。在图像预处理等方面 Cognex还是有一些不足的，很多功能过于简单。 Cognex 的相关的视觉软件系统也相当完善，构成了比较完整的体系，在实际工业生产中的应用很多。 上面主要讨论了 Cognex 软件视觉应用层的功能对比，但是限于资料较少，很多功能所能达到的精度等级还没 有查到。对于系统与图像处理层的功能（如输入、输出、图片格式转换、图像压缩等）与数据处理及硬件联系较紧，这里没有提及，如有需要可以补充。
