1、本科毕业论文（20 届）触摸屏 ITO 线路检测的并行加速研究所在学院 专业班级 光电工程与光通信 学生姓名 学号 指导教师 职称 完成日期 年 月 摘要II摘 要ITO（氧化铟锡）是触摸屏的重要组成部分，由其制成的 ITO 线路同时具有透光和导电的特性，触摸屏 ITO 线路是否有缺陷是判断一个触摸屏产品是否合格的重要依据。本文在图形图像处理技术的基础上对 ITO 线路的缺陷检测算法进行了研究，使用基于 CUDA 平台的 CUDA C 语言实现缺陷检测算法。算法包括缺陷的提取和识别。溅射缺陷检测识别率达到 98.1%，分类成功率 94.4%；短路缺陷检测识别率 97.1%，分类成功率 88.3
2、%；断路缺陷检测识别率 98.5%，分类成功率85.4%。在该算法基础上，本文主要进行了基于 CUDA 平台的 GPU 并行计算研究，加速算法提升速度 1.2 倍。关键词：触摸屏 ITO 线路，缺陷检测，GPU 并行计算，加速比摘要IIIABSTRACTITO (Indium tin oxide) is an essential part of the Touch Screen. Circuits formed by ITO have both transparent and conductive properties. Whether the ITO circuits have defect
3、s is a main basis to distinguish if a Touch Screen product is qualified.In this paper, An ITO circuits defection detect algorithm was researched based on the Image processing techniques and the Morphological Image processing technique. The algorithm contains the extraction and identification of ITO
4、circuits defections. The recognition rate of sputtering defection was 98.1%, and its success rate of classification was 94.4%; the recognition rate of short-circuit defection was 97.1%, and its success rate of classification was 88.3%; the recognition rate of open-circuit defection was 98.5%, and it
5、s success rate of classification was 85.4%. Based on the algorithm, this paper mainly researches the GPU parallel computing technique based on CUDA platform, and accelerates the algorithm to enhance a speedup ratio of 1.2.Key Words: ITO circuits of The Touch Screen, detect defects, GPU parallel comp
6、uting, speedup ratio目录IV目 录第 1 章 引言 .11.1 课题研究背景 .11.2 课题研究的价值及意义 .11.3 国内外研究现状及发展态势 .21.4 课题研究内容 .2第 2 章 课题理论基础知识 .42.1 位图图像 .42.1.1 位图 .42.1.2 常用位图特点 .52.2 GPU 并行计算 .62.2.1 图形处理器(GPU) .62.2.2 GPU 并行计算和 CUDA.62.2.3 CUDA 线程 .72.2.4 GPU 和 CUDA 架构之间的映射 .82.2.5 CUDA 编程介绍 .92.3 开发工具简介 .102.3.1 VS2012 简介
7、 .102.3.2 Qt 简介 .102.3.3 OpenCV 简介 .112.3.4 软件配置 .12目录V第 3 章 ITO 线路图像处理及缺陷检测算法研究 .133.1 图像预处理 .133.1.1 图像滤波 .133.1.2 图像锐化处理 .163.2 图像二值化 .173.2.1 均值二值化 .173.2.2 直方图二值化 .183.2.3 大津阈值二值化 .193.3 边缘检测 .203.4 图形形态学运算 .223.5 ITO 线路缺陷检测算法分析 .243.5.1 ITO 线路图像分析 .253.5.2 算法分析 .263.5.3 ITO 线路缺陷检测算法流程 .27第 4 章
8、 并行加速研究及 ITO 线路缺陷检测算法实现 .294.1 GPU 并行计算研究 .294.1.1 GPU 并行计算的 CUDA 编程 .294.1.2 GPU 并行计算实现加速 .314.2 算法的并行计算实现 .324.2.1 ITO 线路图像预处理 .334.2.2 ITO 线路图像二值化 .33目录VI4.2.3 ITO 线路图像匹配 .344.2.4 差值图像的获取及其形态学运算 .354.2.5 缺陷图像的连通域标记 .374.2.6 缺陷分类 .404.3 结果分析 .424.3.1 并行计算加速比 .424.3.2 缺陷检测结果分析 .43第 5 章 结束语及展望 .44参考
9、文献 .45致 谢 .47外文资料原文 .48外文资料译文 .52第 1 章 引言1第 1 章 引言1.1 课题研究背景触摸屏又称为“ 触控屏” 、 “触控面板”，是一种可接收接触信号作为输入讯号的感应式液晶显示装置，当人接触了屏幕上的图形按钮时，屏幕上的触觉反馈系统可根据预先编程的程式驱动各种连结装置，可用以取代机械式的按钮面板，并借由液晶显示画面制造出生动的影音效果。触摸屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然的一种人机交互方式。它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。触摸屏应用于手机、平板、公共信息的查询、办公、工业控制、军事指挥、电子游戏、点歌点菜
10、、多媒体教学、房地产预售等与生活相关的各个方面。氧化铟锡(Indium tin oxide，ITO) 是一种透明的导体，由于其同时具有透光与导电的特性，而被广泛应用在液晶产品中,是触摸屏的重要组成部分 1。随着智能手机，平板电脑等触摸屏电子产品的发展，ITO 线路的需求量越来越大。1.2 课题研究的价值及意义市场对触摸屏拥有巨大的需求，同时又要求 ITO 线路具有更高的质量，而在生产 ITO 玻璃并通过曝光腐蚀等工艺流程在 ITO 玻璃上形成 ITO 线路时，由于曝光不够或过度、腐蚀过度或欠腐蚀等原因又不可避免的会造成 ITO 线路断路、ITO 线路短路等问题。在这样的情况下，人力目测已经达不
11、到市场要求的质量、精度和速度。ITO 线路的检测正在由低效率、低精度的人工检测朝着高效率、高精度的自动化检测的方向发展。因此，ITO 线路检测系统的实现有很大的实用价值。ITO 线路的检测朝着高效高速的方向发展，意味着 ITO 线路检测系统需要更高的处理速度。由于 ITO 线路检测获得的图像数据量巨大，但局部数据之间的相关性小，且较少的涉及知识推理和人工干预， 因此并行化程度比较高，与传统的使用 CPU 的串行计算相比，使用 GPU 的基于 CUDA 平台的并行计算能更好的解决这种数据密集的计算。CUDA( Compute Unified Device Architecture，统一计算架构)
12、 是显卡厂商 NVIDIA 推出的通用并行计算架构，该架构使 GPU 能够解决复杂的计算问题。GPU 是图形加速的处理单元, 拥有大量的并行流水线, 通常其第 1 章 引言2浮点运算能力是同代的 CPU 的 10 倍以上，利用 CUDA 技术，可以将 GPU 的内处理器串通起来，成为线程处理器去解决数据密集的计算，而各个内处理器能够交换、同步和共享数据。因此在 ITO 线路缺陷检测正在由人力目测向高精度自动检测的方向转变的现在，进行并行计算研究，寻找更快速的进行缺陷检测的方法具有很大的意义。1.3 国内外研究现状及发展态势目前针对触摸屏 ITO 线路检测国内外公司高校均有研究。国 外 方 面
13、对 此 的 研 究 开 展 较 早 ， 以 色 列 企 业 orbotech（ 奥宝科技）公司生产的 AOI500 自动化光学检测系统能高速精确地检测到关键 ITO 缺陷，包括刮痕和污渍等。国内方面虽开展较晚，但也已经开始进行相关设备的研发，其中广东东莞市三姆森光电科技有限公司研发了一种针对 ITO 导电玻璃的全自动光学检测系统，对 ITO 检测中的缺陷均可靠稳定地检测，精度可以达到 3m,可检测表面缺陷、划伤、划痕、ITO 完整度、漏印刷等。国内高校方面，电子科技大学的沈淦松，叶玉堂，李昌海提出了一种高分辨率 ITO 线路缺陷检测系统，其检测精度可达 2m1。随着触摸屏行业的发展，ITO 线
14、路需求量的激增和对 ITO 线路的质量要求的不断的提高驱动着 ITO 线路缺陷检测不断朝着高精度、全自动的方向发展。对于 GPU 并行计算来说，随着 GPU 峰值性能的不断增加，基于 GPU 的并行计算也迅速发展，目前国内外对此均有研究。国内方面，方旭东 2基于CPU/GPU 异构平台研究了矩阵乘、 LU 分解和 MyGrid 等科学计算程序的新型并行算法；刘钦等 3实现了非对称走时 Kirchhoff 叠前时间偏移的 CPU/GPU 协同并行计算。国外方面，WRF 模式团队启动了 WRFGPU 项目 4，基于新的多核 CPU和 GPU 异构混合开发平台开发 WRF 模式中的细粒度并行性，提高
15、 WRF 模式的强可扩展性。WSM5 云微过程模块的代码量仅占 WRF 模式的 0.4%，但运行时间占串行总时间的 1/4。Michalakes 等研究了该计算密集模块的 CPU/GPU 协同并行计算技术，采用 MPI/CUDA 并行编程模型，测试实现了 9.4 倍的加速。1.4 课题研究内容本课题在计算机数字图像处理技术和图形形态学技术的基础上，使用自动光第 1 章 引言3学检查机所拍摄的 ITO 线路图片，对获得的标准 ITO 线路图像和待检测 ITO 线路图像进行预处理，从处理后的图像中分离出 ITO 线路和背景。然后根据缺陷的特征设计算法对缺陷进行提取、分类。本课题的研究内容集中在两个
16、方面：一方面是研究基于 CUDA 平台的 GPU并行计算技术，另一方面是利用 GPU 并行计算实现 ITO 线路缺陷的检测。本课题最终实现基于 CUDA 平台的 GPU 并行计算获得 ITO 线路缺陷信息，并将并行计算和串行计算实现 ITO 线路缺陷检测数据处理的时间进行比对，获得加速比。第 2 章 课题理论基础知识4第 2 章 课题理论基础知识2.1 位图图像2.1.1 位图本课题所处理的图像均为位图(BMP，Bitmap)，位图是使用像素阵列来表示的图像，是 Windows 环境中交换与图像有关的数据的一种标准，使用非常广泛5。根据是否与设备相关可以将位图分为两类：设备相关位图和设备无关位
17、图。设备相关位图中不包括颜色信息，显示时是以系统的调色板为基础进行各位的颜色映射的，Windows 只能保证系统调色板的前 20 种颜色稳定不变，所以设备相关位图只能保证正确显示色彩少于 20 色的位图，这便是其局限性。现在所使用的位图大多为设备无关位图。设备无关位图可以在不同的机器或系统中显示位图所固有的颜色。设备无关位图包含以下颜色和尺寸信息：原始设备（创建这张图片的设备）的颜色格式、原始设备的分辨率、原始设备的调色板、1 个位数组（由红、蓝、绿三个值的不同组合代表不同颜色值）。位图采用映射存储格式，除了图像的位深度可选外，不采用任何其它压缩方式，因此，位图文件一般占用的空间较大。位图文件
18、存储数据时，图像的扫描方式是按从左到右、从下到上的顺序。位图的每个像素都分配有特定的位置和颜色值。每个像素的颜色信息由 RGB 组合或者由灰度值表示。图像的位深度是指图像的一个像素用多少位表示。根据位图的位深度，可以将位图分为1、4、8、16、24 位及 32 位等位图，它们的区别在于不同位深度的位图的每个像素可能取的颜色值数目不同。一般若位图的位深度为 n，则其每个像素可能的颜色取值有 种。位深度越大，每个像素使用的信息位数越多，可用的颜色就越2n多，颜色表现就越逼真，相应的数据量就越大。位图文件总体上由 4 部分组成，分别是位图文件头、位图信息头、调色板和图像数据。位图文件头包含了图像类型、图像大小、图像数据存放地址和两个保留未使用的字段。位图信息头包含了位图信息头的大小、图像的宽高、图像的位深度、压缩说明、图像数据的大小和其他一些参数。位图图像数据字节数大小必须是 4 的倍数，图像数据字节数大小不是 4 的倍数时用空字节填充补足，通常是ASCII 码 0 补足。调色板是位深度小于或等于 8 位的位图文件所特有的，相对应的调色板大小是 2、16 和 256，调色板以 4 字节为单位，每 4 个字节存放一个颜
