1、SCARA机器人视觉引导模块的设计与实现光电工程与光通信本科毕业论文摘要 I 摘 要 目前国内的机器人大多数都是通过示教和预编程来实现对机器人 运动控制 的 。当外界条件改变时，机器人不能针对这种改变做出反应， 生产柔性差，效率低下 ，针对这种需求，本文提出了一种基于 EPSON 的 SCARA 水平四轴机器人系统中加入计算机视觉的解决方案。该方案的主要思想是通过相机采集图像，进行图像处理，找到 目标点的坐标，经过标定后得到像素坐标跟机器人坐标之间的转换矩阵，在实际机器人的工作中，利用图像处理后的结果与标定得到的坐标转换矩阵 ，就能得到目标工件的机器人坐标，从而指导机器人运动到目标工件处。 本
2、文研究的目的 是利用 Qt 平台下的 C+进行软件开发，编写出一套控制视觉机器人运动的软件，利用视觉获取目标物体的位置信息和图像处理信息， 实现机器人与 PC 的友好交互，并 通过 操作 软件界面 来 控制机器人 准确地运动 到目标 工件处 。 关键词 ： 视觉 ， 标定 ， 软件 ，交互 ABSTRACT II ABSTRACT At present most of the domestic robots is achieved through teaching and programming to the robots motion control.When external condit
3、ions is changed, the robot can not to react to this change, so industrial production flexibility is poor, and efficiency is very low. For this kind of demand, this paper puts forward a kind of solutions based on EPSON level four axis robot system with computer vision.The main idea of the scheme is c
4、ollecting images by camera, processing image, finding the coordinates of target points. By calibration ,we can get coordinate transformation matrix between the pixel coordinates with robot. In the actual work of the robot, using the results of image processing and calibration of coordinate transform
5、ation matrix, we can get the targets robot coordinate, so as to guide the robot moving to the target. The purpose of this study is using the Qt software development platform of the c + + to write a set of visual robot motion control software. The location of the target object information and image p
6、rocessing can be geted by the visual.The robot friendly interaction with the PC is realized, and the robot movement to accurately target artifact can be controlled through the operating software interface. Keywords: visual, calibration, software, interaction 目录 III 目 录 第一章 引言 . 1 1.1 研究背景 . 1 1.2 课题
7、研究的意义 . 1 1.3 国内外研究现状 . 2 1.4 论文工作 . 3 第 2 章 软件开发的基本理论 . 4 2.1 EPSON 机器人介绍 .4 2.1.1 EPSON 机器人简介 .4 2.1.2 EPSON 编程语言及开发环境的介绍 .6 2.2 摄像机标定原理 . 8 2.2.1 坐标系的定义 .9 2.2.2 摄像机模型的建立 .10 2.2.3 坐标变换 . 11 2.3 机器视觉软件 OPENCV 介绍 . 14 2.3.1 OPENCV 简介 .14 2.3.2 OPENCV 标定原理 .14 2.4 编写界面的软件 Qt 介绍 . 15 2.4.1 Qt 简介 .15
8、 2.4.2 Qt 的特征 .16 2.4.3 Qt 的系统构造 .18 2.4.4 Qt 的类 .18 2.5 网络通信原理 . 20 2.5.1 网络的概念和网络的组成 .20 2.5.2 计算机网络参考模型 .21 2.5.3 网络程序体系结构 .23 第 3 章 基于视觉的 EPSON 机器人整体系统框架 设计 . 25 3.1 EPSON 机器人视觉引导的硬件系统设计方案 .25 3.2 EPSON 机器人软件系统设计方案 .26 目录 IV 3.2.1 PC 系统程序的设计方案 .26 3.2.2 机器人程序结构设计方案 .27 第 4 章 上位机软件开发的设计与实现 . 28 4
9、.1 图像采集模块 . 28 4.1.1 摄像机软件开发的介绍 .29 4.1.2 摄像机的工作流程 .29 4.1.3 图像采集功能实现的过程 .29 4.1.4 利用 Qt 编写图像采集的界面 .32 4.2 网络通信模块 . 33 4.2.1 WinSock 网络编程 -服务器 /客户端的创建过程 .33 4.2.2 服务器 TCPSever 的创建过程 .35 4.2.3 客户端 TCPClient 的创建过程 .36 4.3 标定模块、检测工作模块以及调试模块 . 36 4.4 PC 与机器人控制器的交互与实现过程 . 36 第 5 章 EPSON 九点标定与 OPENCV 棋盘格标
10、定实验结果 . 40 5.1 EPSON 九点标定实验 .41 5.1.1 EPSON 九点标定的实现 .41 5.2 OPENCV 棋盘格标定实验 . 43 5.2.1 OPENCV 标定系统的实现 .43 5.3 EPSON 九点标定法与 OPENCV 棋盘格标定法实验结果对比 .46 5.3.1 EPSON 九点标定方法和 OPENCV 棋盘格标定方法比较 .46 5.3.2 两种方法的标定实验结果 .47 第 6 章 结束语 . 49 6.1 总结 . 49 6.2 课题的创新点 . 49 6.3 展望 . 50 6.4 个人的心得体会 . 50 参考文献 . 51 致 谢 . 52
11、附录 . 53 附录一 图像采集模块程序代码 . 53 附录二 调试模块程序代码 . 63 目录 V 外文资料原文 . 84 外文资料译文 . 89 第 1 章 引言 1 第 1 章 引言 1.1 研究背景 目前国内的工业机器人和农业机器人大多数都是通过示教和预编程来实现对机器人的 运动控制。这样的操作使得机器人的初始姿态和最终姿态固定不变，当外界条件因为某些不确定因素改变时，机器人不能针对这种改变做出反应，导致运动失误，这样一来对生产的柔性就很差，不能满足柔性生产对工业生产中的物料传送和农业生产中 对农作物采摘的要求，而且示教和预编程会花费很长的准备时间，效率低下，针对这种需求，引入视觉定位
12、和识别系统就显得很有必要。 视觉机器人在工业生产中已经成为一种趋势，视觉可以很好的帮助机器人实现目标物体的精确定位，并在外界条件发生改变时及时作出反应和决策正确指导机器人完成相应的动作指令，机器人加入视觉对柔性生产来说是一种福音 1。 1.2 课题研究的意义 作为机器人家族更先进的一员，带视觉的光电机器人在工业生产中有着日益广泛的应用。尤其在码垛搬运、数控机床、和汽车焊接等工业领域中，视觉机器人高精度和稳定实时的 特点能大大提高作业效率，方便智能工厂的统一化管理，解放劳动力。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并
13、确定其位置。目前，发达国家在视觉机器人方面比我们领先不少。他们硬件方面敏感度较高、可控性较强，软件高效准确，扩展性较强 2。但是由于国外实行技术封锁，国内没有途径了解和学习他们的技术。所以，对智能机器人软件系统的自主研究是有现实和迫切的需求的。而且，就算是国外也有很多技术是不成熟的。作为视觉机器人极其重要的一方面，研究具有高精 度，高稳定性和高智能软件系统的视觉工业机器人对我国工业发展有巨大的推动作用。 电子科技大学学术学位论文 2 1.3 国内外 研究现状 由于视觉光电机器人的“智能度高”、“应用极广”、“类人性好”、“重复性好”等独特优势，利用视觉光电机器人可以实现加工速度快、加工重复性高
14、、维护成本低、空间定域性好等目的，在电子、汽车、光电子、航空航天、新能源、核爆模拟、重工业及危险环境等军事、民用领域都有广泛的应用。作为先进制造技术的基础，视觉光电机器人已成为各发达国家在全球信息技术竞争战略中竞相抢占的制高点之一。 国外机器视觉系统应用于很多方面，如用于海 洋石油开采，海底勘查的水下机器人 ;用于医疗外科手术及研究的医用机器人 ； 帮助人类了解宇宙的空间机器人 ；完成特殊任务的核工业机器人 等 3-4。虽然我国在机器视觉方面的发展与世界先进水平相比还有一定差距，但机器视觉系统的研制工作也取得了一定的成果。我国视觉机器人应用主要有以下目的 :用以代替人类从事危险、有害和恶劣环境
15、、超净环境下的工作 ； 把人从肮脏、繁重的劳动中解放出来 ； 提高劳动生产率，改善产品质量，快速响应市场要求，加强在国际市场的竞争能 力 5。 从行业状况来看，目前在许多设备生产线都大量装备工业机器人，能有 效的节省人力，提高作业精确度。例如：在汽车领域制造领域中就大量使用机器人，其中焊接机器人在汽车制造业中发挥着不可替代的作用，而自动化装配检测机器人技术可有效提升汽车零部件竞争力，同时其技术应用也进一步促进了机器视觉行业的快速发展。机器视觉已成功地应用于工业检测领域，大幅度地提高了产品的质量和可靠性 ,保证了生产的速度。例如产品包装、印刷质量的检测，饮料行业的容器质量检测，饮料填充检测，饮料
16、瓶封口检测，木材厂木料检测，半导体集成块封装质量检测，卷钢质量检测，关键机械零件的工业 CT 等 6。目前，大多数的机器人 是没有视觉能力的，可以想象若视觉功能能普遍加入到工业机器人中，那么其灵活性和准确度必将大大提高，相应带来的就是制造业生产力的跳跃。业内人士认为，机器人产业将是继汽车、计算机之后出现的新兴的大型高技术产业。“十二五”是中国工业机器人产业发展的关键转折点，市场需求也将呈现井喷式发展，工业机器人的需求量将以每年 15%20%的速度增长。 因此，视觉机器人是有巨大发展前途的，对它的研究也是有迫切的意义的。 第 1 章 引言 3 1.4 论文工作 本课题将设计一个具有良好封装性和扩
17、展性的系统框架，完成一个友好易用、功能齐全的软件界面并且利 用该软件界面 完成 控制机器人对目标工件的准确 定位 。上位机 软件分模块进行设计， 具体包括 大恒相机的图像采集模块，机器人标定模块，机器人运动检测模块，上位机与机器人控制器交互的网络通信模块以及能够人为手动控制机器人运动的调试模块。 本课题的重点是研究 Qt 平台下的 C+软件开发 。难点是利用 Qt 完成 图像采集模块，标定模块，运动 检测 模块，通信模块，机器人调试模块程序的编写 ，并且使标定精度达到 0.03mm，以确保机器人能准确 运动到 目标工件 处 。 本课题所设计的软件界面模块的主要内容包括以下部分： 图像采集模块：
18、相机型号为 大恒 的 3151UC-ML，镜头 型号为 富士能的 HF9HA-1B 镜头 ，该模块利用大恒 SDK 驱动包编写代码，实现相机打开，图像采集，相机关闭等功能。 标定模块：运用 EPSON 九点标定法，实现像素坐标 到机器人坐标的转换。 运动检测模块：相机拍摄目标工件，进行图像处理，利用标定结果，换算出目标工件的机器人坐标，指导机器人运动到目标工件处。 通信模块：利用 TCP 通信原理，创建 Socket 套接字，完成上位机与机器人控制器的通信交互。 调试模块：完成人为手动控制水平四轴机器人在 X, Y, Z, U 四个轴上面的自由移动。 电子科技大学学术学位论文 4 第 2 章
19、软件开发的基本理论 2.1 EPSON 机器人 介绍 2.1.1 EPSON 机器人简介 SCARA 水平四轴机器人 7是一种水平多关节机器人，具有四个轴和四个运动自由度： X,Y,Z 方向的平动自由度和绕 Z 轴的转动自由度。在 X,Y 方向上具有顺从性，而在 Z 轴方向上具有良好的刚度，大臂和小臂是串联的两杆结构，类似人的手臂，可以伸进有限的空间中进行作业，然后收回。它的第一，二，四轴具有转动特性，第三轴具有线性移动特性，并且第三和第四可以根据工作需要的不同，制造成相应多种不同的形态。机器人的每个关节均由伺服电机 驱动，以实现机器人的整体运动。机器人各个关节上都有交流伺服电机驱动四个轴运动
20、。 图 2-1 EPSON LS3 机器人 本实验所用的机器人是 EPSON 的 LS 系列 SCARA 水平四轴机器人 LS3 配RC90 控制器。 EPSON LS3 SCARA 机器人有 4 个轴（ 4 个自由度） X、 Y、 Z、 U，它的机械手坐标如图 2-2 的（ a）， (b)， (c)所示。这类机器人的结构轻便、响应快 ，最适用于平面定位、垂直方向进行装配的作业 。具有高性能、低成本，高速循环高产出，行业领先易用性等优点。它们可以用于机电组装、提取和放置、物料配送 (kitting)和分发，等等。 Epson LS3 SCARA 手臂长达 400mm，并且通过了 ISO 4清洁模型标准。该产品循环时间方面也表现优异，有着业内领先的易用性，同时
