1、 （ 20_ _届） 本科毕业 设计 机器视觉在焊接熔池实时检测与参数测定中的应用 所在学院 专业班级 电气工程及其自动化 学生姓名 学号 指导教师 职称 完成日期 年 月 I 摘 要 焊接过程的自动化和智能化己经成为当今焊接技术的发展方向，成为目前一个热门的研究课题。 视觉传感的特点是提高生 产的柔性和自动化程度。在一些不合适人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉代替人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和审查的自动化程度。 针对焊接过程的特点，本文对焊接熔池图像进行直接处理，采用 MAT
2、LAB 数字图像处理功能实现。首先介绍了本课题的来源与研究意义，并简单介绍了当今机器视觉的研究现状，明确了本课题的研究内容。然后给出了实现机器视觉的原理基础，并在 MATLAB 平台上对熔池原始图像进行处理仿真，并取 得了想要得到的结果。 实验表明：基于机器视觉的焊接熔池实时检测与参数测定能够得到理想的熔池形状参数，基本能满足生产要求。 关键词： 焊接技术，机器视觉， MATLAB 仿真，熔池形状 II The application of weld pool real-time inspection and parameters measurement based on Machine Vi
3、sion Abstract Automation and intelligence of welding process become more and more popular in welding technologies. And these are hot in the welding region. The Characteristics of visual sensor is it can improve the flexibility and automation of production. In some time, the working conditions is dan
4、gerous of manual operation or the artificial vision is difficult to meet the requirements of the occasion, we use the machine vision instead. At the same time, in the large quantities of industrial production process, the efficiency and accuracy of artificial visual inspection of product quality is
5、low , with a machine vision inspection method can greatly improve the production efficiency and automation of the review. For the characteristics of welding process, in this paper, the processing of weld pool image is directly, it can be achieved by the digital image processing function of MATLAB. A
6、t first, introduces the the origin and research significance of this subject, and briefly introduces the status of machine vision research in today, make sure the Study contents. Then gives the the basal principle of machine vision. At last , simulate the processing of the weld pool original image,
7、and achieved the desired results. Experiments show: the weld pool real-time inspection and parameters measurement based on Machine Vision can obtain the desired weld pool shape parameters, which can basically meet the production requirements. Keywords: welding technologies, Machine Vision, MATLAB si
8、mulation, pool shape III 目录 摘 要 . I Abstract . II 1 绪论 . 1 1.1 课题的来源 . 1 1.2 课题的意义 . 1 1.3 熔池质量信息检测的研究现状 . 1 1.3.1 视觉传感法 . 2 1.3.2 非视觉传感法 . 3 1.4 过程监测中的信号处理 . 4 1.5 焊接过程控制研究现状 . 5 1.5.1 经典控制和现代控制 . 5 1.5.2 智能控制 . 6 1.6 本课题研究内容 . 6 2 机器视觉基 础 . 7 2.1 基于视觉信息的初始焊接位置识别与引导 . 7 2.2 基于视觉信息的机器人焊接的自主焊缝跟踪 . 8
9、2.3 基于视觉传感的焊缝熔透实时控制 . 9 2.4 基本原理 . 10 2.4.1 模板匹配的基本原理 . 10 3 熔池图像处理 . 13 3.1 熔池图像处理的基本过程 . 13 3.1.1 图像滤波 . 13 3.1.2 图像阈值化 . 14 3.1.3 边缘检测 . 15 3.1.4 特征提取 . 17 3.1.5 视觉系统的定标 . 22 结论 . 23 参考文献 . 24 致谢 . 错误 !未定义书签。 附录 . 26 MATLAB 图像处理程序 . 26 机器视觉在焊接熔池实时检测与参数测定中的应用 1 1 绪论 1.1 课题的来源 焊接生产作为现代工业的一个重要加工环节，
10、近些年来，随着石化、冶金、电力以及原子能、航天等现代化科技技术的快速发展，对所使用的设备质量的要求也越来越高，因此，保证焊接结构的质量就成了国内外焊接工作研究者面临的重要挑战。 解决这些问题的唯一途径就是实现焊接过程的自动化、智能化。 焊接自动化技术的关键点是在于对焊接工艺过程进行实时检测与自动控制。在现阶段所能做只是利用人类的感官或者现有的传感技术，对一些与直接焊接质量有关的间接焊接质量，如熔深、熔宽、熔透等，进行实时检测和控 制，从而达到控制焊接质量的目的 1 视觉传感的特点是提高生产的柔性和自动化程度。在一些不合适进行人工作业的危险工作环境或人工视觉不能满足要求的场合，常用机器视觉来替代
11、；另一方面在大批量工业生产过程中，用人工视觉检查产品的质量存在着精度不高而且效率低的现象，而用机器视觉检测方法就可以在较大程度上提高审查的自动化程度和生产效率。并且用机器视觉便于实现信息集成，是实现计算机集成制造的基础技术。由于视觉传感可以迅速获得大量信息，而且易于与设计信息及加工控制信息集成，所以，在现代自动化生产过程中，视觉传感将在工况监 视、成品检验和质量控制等相关领域得到广泛的应用。 1.2 课题的意义 随着对焊接自动化智能化研究的深入，现代工业生产越来越注重对焊接质量的控制，特别是其中熔透与成形直接反映了焊接质量，因此焊接质量控制的关键步骤是检测出反映焊缝熔透和成形的质量信息。目前国
12、内外普遍使用各类传感装置对焊接熔池信息进行传感来对焊接过程进行实时控制，同时以此作为智能化焊接要求实现的基础。因此，国内外众多研究人员在视觉传感方面进行了广泛的研究，该课题在任何方面技术尝试和创新都是很有实际意义的 。 1.3 熔池质量信息检测的研究现状 焊接过 程信息检测是焊接过程研究与质量控制的基础，其核心问题是传感技术。焊接过程实时控制的关键环节和重要组成部分是熔池信息传感，检测到的熔池信息能反映焊缝外观形状和缺陷，就能间接判断焊接的质量。到目前为止，已有多中传感器被用来实时检测焊接过程和焊接质量。根据工作的原理和机器视觉在焊接熔池实时检测与参数测定中的应用 2 检测方法可以区分为视觉传
13、感法、力学传感法、声学传感法和电弧传感法 2。 1.3.1 视觉传感法 光学传感器的特点是其不与焊接回路接触，信号的检测过程不会影响到正常焊接过程。尽管目前在实际工业生产中光学传感器的应用不多，但由于光学传感器能提供丰富的信 息这一特点，其将是今后最有发展前景的传感技术之一。随着电子工业和图像处理技术的日益成熟，视觉传感将有广大的发展空间。 通过直接视觉传感技术的利用可以得到焊接过程动态熔池的二维或三维信息，与其他焊接过程信息检测方法相比较，这种检测方法最大的优势在于检测到的熔池信息能够直接反映焊接过程熔化金属的动态行为，显而易见，该方法更适合焊接过程的质量控制。根据视觉检测系统中成像光源是辅
14、助光源还是焊接区自身产生的光源可分为主动式和被动式两大类 3。 (1) 主动式直接视觉传感 理想的视觉传感技术应该能够对由于电弧光的光强 的急剧变化产生抑制作用。为尽量减小少弧光对图像质量的影响，主动视觉传感检测方法一半采用激光等条件合适的辅助光源对焊接区进行人工照明以提高图像的质量。由于激光具有单波长，方向性好，相干性好等特点，所以可以采用激光作为辅助光源来获得较清晰的图像。 美国的 R. Kovacevic 等人 4,5设计了一种由脉冲激光栅格状多结构光条纹和高电子快门摄像机组成的熔池视觉检测系统，激光器与摄像机的快门同步，激光器的平均功率为 7MW，在一个脉冲周期内激光脉冲持续时间为 3
15、NS，激光波长为 337NM。因为在激光持续时间内，激光 的能量密度远远大于弧光的能量密度，在激光暴光时间内激光的光强又远远大于弧光的光强，在摄像机成像的光路系统中又加有与激光波长相匹配的窄带光学滤光片，所以能够有效地抑制弧光干扰，进一步提高了图像的信噪比，获得了非常清晰的熔池图像。但由于该方法采用高能量密度的脉冲光源和特殊电子快门的摄像机，其设备非常昂贵，很难在实际生产中进行推广应用。 (2) 被动式直接视觉传感 被动光源传感是指利用熔池自身的辐射光或者对电弧的反射光或者两者兼有之作为接收器件信号源的一种视觉传感方式。 上海交通大学的陈善本对脉冲熔化极气体保护焊 （ GMAW）熔池视觉传感和
16、实时控制进行了研究 6。建立了脉冲 GMTW 过程熔池视觉传感系统，根据脉冲 GMAW 弧光光谱分布和熔池图像特征提取，实现了对脉冲 GMAW 熔池动态过程的实时检测。 由于焊接熔深和熔透可以通过温度场的变化来表现，因此若能直接检测焊机器视觉在焊接熔池实时检测与参数测定中的应用 3 接温度场的变化，来控制焊接程度是最理想的。但是在实际焊接过程中，接触式测温方式难以实现，通常是采用非接触测温方法，即红外热像法。 利用红外敏感元件检测熔池正面或背面的温度场辐射这种方法称为红外热像法，该方法通过采集温度场区域的热辐射量并且对温度场信息进行处理，利用温度场的梯度来检测熔透质量。 1.3.2 非视觉传感
17、法 (1) 力学传感法 力学传感法是在焊接过程中直接利用力学传感器采集声音信号，或者对熔池施加外力，使其产生其他形式的声音信号。 熔池在电弧力和热作用下将会发生振荡，振荡模式与熔池几何形状，特别是焊接熔池熔透密切相关。该方法就是利用熔池液体受激产生振荡这一物理现象，通过检测其他相关量来测定熔池的振荡频率，实现从熔池正面检测熔深或熔透，既而实现熔池控制的目的 7-9。 (2) 声学传感法 在焊弧过程中，电弧声总伴随着产生。该方法就是通过拾声器采集电弧的特 征声波，再通过傅里叶变换对声压值进行特征分析，找出声压与熔池之间的某种联系，既而实现熔池的在线控制。 在文献 8中指出：在脉冲等离子弧焊锅炉管
18、道生产过程中，充分利用了等离子弧的“小孔”效应，当脉冲焊接电流持续的时候，等离子弧穿透管壁，形成小孔效应，此时的电弧声通过小孔，进入到管壁内形成很强的声信号，那么信号的持续时间就表示了小孔的持续时间，根据它来实时控制焊接形状，即可达到控制焊接熔透的目的。美国的 DAVE FARSON 等人利用拾声器在激光焊接过程中采集声音信号，发现随着熔深增加声压值也会增大，特别是当从 局部焊透向全焊透过渡时，声压值会突变达到最大，从而可以对熔透进行检查和控制10。 (3) 电弧传感法 电弧传感法是指从焊接电弧本身提取电信号，即通过检测焊接电流的变化或电弧电压反映焊接质量信息的变化。 这种方法主要应用于熔透控
19、制中，因为熔池的固有频率与熔池尺寸有一定的对应关系，而电弧电压能够反映熔池的振荡频率，所以通过电弧传感器检测电弧电压即可实现对焊接熔透的控制。荷兰的 G. DEN OUDEN 在这方面做了大量的研究工作 11-13，他在 TIG 焊中，通过叠加短时脉冲电流激振熔池，产生熔池震荡，利用电 压传感器检测通过傅里叶变化的熔池振荡频率。哈尔滨工业大学的杨春利、何景山等人在恒定直流之上叠加定频率正弦波电流作为焊接电机器视觉在焊接熔池实时检测与参数测定中的应用 4 流激振熔池，产生熔池振荡，发现熔池振荡频率与熔池尺寸之间存在良好的对应关系，可以用于尺寸检测及熔透控制 14。 1.4 过程监测中的信号处理
20、（ 1）阈值比较 这种方法是通过设定过程中某个监测量的阈值来判断过程的稳定性 ， 如果监测到的信号超出阈值范围，那么判定出现了质量问题 ， 否则就认为焊接过程是稳定的。这种方法只对信号做简单的放大、滤波等处理 ， 常常在罐身、汽车板的焊接中 ， 主要用来监测未焊透、 烧穿及焊接过程的稳定性。 （ 2）时域、频域分析 在对动态信号的分析中 ， 频域和时域分别表明了动态信号的两个方面。时域分析是指以波形分析为主 ， 波形分析是以时间轴为坐标表示动态信号随时间变化的关系 ， 时域表示比较形象、直观。频域分析则以频谱分析为主 ， 频谱分析是把动态信号变为以频率轴为坐标表示出来 ， 频域表示动态信号则显
21、得更为简练 ， 剖析问题更加深刻和方便。目前 ， 动态信号分析的趋势是从时域向频域发展 ， 但二者又是相互联系、缺一不可、相辅相成的。时域分析相对来说比较简单 ， 多是对波形的幅值分析 ， 如计算波形的最大值、平均值等。通 过分析 ，再给出各种量的幅值关系 ， 如幅值的大小、幅值对时间的分布等。频谱分析是频域分析的主要手段 ， 频谱特性是动态信号的基本特性之一。在焊接过程监测信号的频谱分析中 ， 由于功率谱图中突出了主频率 ， 功率谱分析成为最常用的频谱分析方法。通过频谱分析可以求得动态信号中各个频率成分的能量分布 ，从而得到主要能量分布的频率值 ， 为焊接过程的质量分析提供依据。在频谱分析中
22、最常用的是快速傅立叶变换 ， 这种分析方法一方面可以加深对信号物理本质的认识 ， 另一方面又可以提高诊断系统的灵敏度和精度 16 。 （ 3）模糊评判系统 模糊评判系 统是以模糊语言和模糊数学所形成的知识表示以及模糊的规则推理为理论基础 ， 采用计算机构成的评判分析系统。 G. Kinsman 等人采用模糊逻辑控制手段 17 ， 以摄像头获取等离子云光斑的象素个数 ， 实现以调节焊接速度为调节量的闭环控制。 （ 4）专家系统 专家系统是一种以人类专家水平完成专门的或困难任务的计算机系统 ， 具有启发性、透明性和灵活性等特点。英国 Liverpool 大学基于专家系统开发了罐身激光焊接缺陷实时诊
23、断系统 18 。该系统通过喷嘴与工件间的电位差来探测等离子云的变化情况 ， 将焊接喷嘴作为探针探测由 熔池压力波冲击产生的声信号来监测熔池的变化情况。 （ 5）人工神经网络技术 机器视觉在焊接熔池实时检测与参数测定中的应用 5 人工神经网络技术是模仿人的大脑的神经单元来处理信息 ， 具有结构化、非线性、鲁棒性、并行性等特点。目前 ， 人工神经网络技术在故障诊断、工况监控、结构分析、设计优化以及几何建模等机械工程中得到了广泛的应用。另外在激光焊接过程质量实时监测中也有人工神经网络的应用。文献 19-24利用人工神经网络诊断了焊接过程所监测的信号。其中文献 19对焊接过程中是否熔透以及搭接接头间隙
24、是否超过 0. 2 mm 进行了预测 ， 结果正确率分别达到 98. 5 %和 99 %。文献 19-21对经过频域分析后的等离子体的光、声信号利用人工神经网络对不同的缺陷进行诊断。文献 21-24探讨了利用人工神经网络来控制激光焊接过程的方法。但是距实现过程的自适应控制还有一定的距离。 1.5 焊接过程控制研究现状 控制焊接动态过程即实时调节焊接参数。焊接参数包括了焊接工艺规范参数、焊接过程的动态参数和焊接质量参数。由于焊接过程自动控制的最终目的是为了获得满意的焊接质量，因此焊接过程的被控对象主要是焊接过程中的动态参数，如熔池的正面熔宽、正面熔池的面积、半长和拖后角等 25。 焊接过程是一个
25、多参数影响的复杂多变量系统，由于焊接过程的非线性以及存在不确定性因素干扰，以精确数学模型为设计基础的经典及现代控制理论面临着严重的挑战。近年来自动控制技术由于在人工智能、控制理论和计算机科学的交叉得到很大的进展，新一代控制理论正在逐步形成中，即智能控制理论。智能控制的基本特点是不依赖或不完全依赖被控对象的数学模型，其主要特点是利用人的操作经验、知识和推理技术以及控制系统的某些信息和性能得出相应的控制动作。 1.5.1 经典控制和现代控制 PID 控制是目前发展的比较成熟的一种最简单实用的控制方法 ，是一种经典控制方法。它通常是依靠数学模型，再通过解析的方法进行设计，有时也不依赖数学模型而仅凭借
26、经验和试凑来确定。由于其结构简单，应用到了工业控制的绝大数领域。在焊接过程控制中，曾被研究应用过 26,27。 PID 控制是建立在数学模型的基础上，焊接过程控制系统是非线性、大时滞、强耦合系统，不能用精确地数学模型来描述其系统特性，所以 PID 控制在焊接过程中不可能实现精确地控制。 自适应控制是现代控制理论一种控制方法，哈尔滨工业大学张裕明等人 27曾对此做过研究，控制效果不是很理想。由于现代控制理论也是建立在 数学模型的基础之上，对于像焊接这样的非线性系统而言，其自适应控制问题的解决机器视觉在焊接熔池实时检测与参数测定中的应用 6 比较困难。首先很难找到合适的不确定非线性动态的模型结构；
27、其次，不存在一般形式的自适应控制律。 1.5.2 智能控制 智能控制是控制理论发展的高级阶段，由于有着传统控制理论所不具备的自学习、自适应、自组织功能，它主要用来解决那些用传统方法难以解决的复杂的控制问题 28。智能控制具体又可分为模糊控制、神经网络控制、专家控制、分层递阶控制等，它所涵盖的学科领域不尽相同。目前，在焊接过程控制中研究较多的是模糊控制、神经网络控制、以及两者的结 合模糊神经网络控制。 1.6 本课题研究内容 由于计算机技术、传感器技术的快速发展以及控制理论的丰富给整个工业界带来了很大的变化，将计算机、传感器和先进的控制理论用于传统工业将是大势所趋，也是改造和发展传统行业的必由之路。在这样的学术大背景下，本课题正是将传统的焊接方法与高科技技术相结合，保证焊接质量，提高焊接效率，节约能源和资源，改善劳动环境，走焊接行业的可持续发展道路。本课题主要研究熔池信息的在线检测，特征识别，特征提取问题。该研究内容是焊接技术发展的热点研究方向，具有很高的学术和应用价值。熔池视觉检测系 统能够成功检测出熔池清晰的图像，利用 MATLAB 数字图像处理技术检测出熔池图像的特征点，然后即可根据公式计算出熔池表面形状尺寸参数，
