1、摘要 I 摘 要 关键词： Abstract I ABSTRACT Keyword: 目录 II 目录 摘 要 . I ABSTRACT. I 第一章 绪论 .3 1.1 课题背景 .3 1.2 国内外现状 .3 1.3 研究目的和主要内容 .4 1.4 论文的组织和安排 .5 第二章 水果分类的图像算法设计 .6 2.1 计算机数字图像处理 .6 2.2 水果分类的基本图像处理算法 .7 2.3 水果的图像特征 .9 2.4 水果图像分类器 . 12 2.5 水果图像识别算法设计 . 14 2.5.1 水果图像背景提取 . 14 2.5.2 水果形状和颜色特征 . 15 2.5.3 水果分类
2、算法 . 17 2.6 本章小结 . 18 第三章 水果图像识别系统总体设计 . 19 3.1 系统总体设计 . 19 3.1.1 系统需求分析 . 19 3.1.2 系统方案选择 . 20 3.2 硬件方案设计 . 26 3.3 水果注册流程 . 27 3.4 水果识别流程 . 30 3.5 本章小结 . 31 第四章 水果图像识别系统设计 . 32 4.1 软件概要设计 . 32 4.2 图像处理模块详细设计 . 33 4.2.1 基本数据结构定义 . 33 4.2.2 水果识别 API . 35 4.3 应用管理及数据管理详细设计 . 37 4.3.1 应用管理模块 . 37 4.3.2
3、 数据管理模块 . 38 4.4 人机交互模块详细设计 . 39 4.5 本章小节 . 40 第五章 水果图像识别性能测试 . 41 5.1 原型系统 . 41 5.2 数据准备 . 41 5.3 测试方法 . 42 5.4 实验结果 . 44 5.5 结果分析 . 45 5.6 本章小节 . 46 参考文献 . 48 致 谢 . 50 3 第一 章 绪论 1.1 课题背景 随着计算机技术的不断发展，近年来基于模式识别技术逐渐推广应用到农业领域，例如利用遥感图像分析识别农业灌溉效果，稻田丰收欠收识别与估计，以及农作物的自动分拣与识别等。 80 年代出现了一些自动分类系统。在已有的水果识别分类系
4、统中，应用得较多的包括水果的伤痕及缺陷检测，水果等级的自动识别与划分等1-4,6-9。这类分类系统大多要求将采摘的水果置于严格限定的状态之中，比如一类水果分类系统利用气味传感器件采集数据，然后以此作为特征对水果进行分类或者质量评估，分类准确率可以 达到 90%。但是这类系统的一个明显缺陷是必须将采摘的水果置于相对隔离的空间中，需要采用特殊的气味传感器件来采集数据，并且容易受到外部环境，例如流通的空气等因素影响。其它还有基于特殊传感器件的水果分类系统包括基于激光探测器，以及红外探测器的系统。特别地，由于水果类作物的图像具有显著的分辨特征，很容易进行图像特征采集，因此利用图像信息对水果分类和评级得
5、到更为广泛的关注，可以在无损状态下进行快速而准确的自动分类。 市场方面，水果产业是近年来快速发展的一个农产品产业 , 据农业部统计 , 2007 年我国水果产量已经达 到1.05 亿吨 , 位居世界第 1, 比 5 年前增长了 51%。但由于品种结构不合理 , 产后商品化处理技术落后 , 产品缺乏市场竞争力。西方发达国家在水果行业强调规模化、专业化 , 在选果包装车间已普遍采用无损伤检测技术手段。因此，水果识别技术具有很高的市场推广价值。本课题将面向市场需求，开发一套基于 2D图像的实用水果识别系统，控制开发成本，预期可以取得良好的经济效益。 1.2 国内外现状 80 年代起国外开始研究机器视
6、觉技术，在农业方面的应用主要包括农业机器人、农业遥感分析、粮食及水果的品质检测等技术。以计算机图 像处理为基础的智能识别水果技术具有分类精度高，分类结果客观准确，自动化程序高，对水果损伤少等优点，正在逐步取代现有的人工分类，是当前水果实时检测与自动化分类技术发展的必然趋势。我国这方面的研究和应用起步较晚，还处于人工和半机械阶段。人工分选在很大程度上依靠分选工人的个人经验，这种主观评定受到环境、视力、颜色鉴别力、情感、疲劳等的影响，劳动强度大，速度慢，而且人眼很难定量估计着色、损伤等指标，大多数停留于定性评判，精度和可靠性低。另一方面，机械分选的主要指标是水果的大小和重量，不可避免对水果损伤，效
7、率低，分选 结果达不到国际要求。 我国是世界果树大国，栽培历史悠久，品种丰富，水果和干果达 50 余种，是世界果树起源最早、种类最多的著名果树古国之一；同时，我国也是一个水果生产大国，据国家统计局统计，我国水果总产量约占世界总产量的 14%左右，居世界首位。 但我国的水果出口量却很小，属于水果出口小国。造成这些现象背后其中一个主要原因就是国内水果的产后技术处理环节缺失。这其中存在行业技术推广的问题。反观世界发达国家，均将农产品的贮藏、保鲜和加工放在产业的首要位置。比如从农产品的产值构成来看，农产品的产值 70%以上是通过产后的贮运、保鲜和加工等环节来实现的。美国用于农产品采摘的费用仅占 30%
8、，而 70%的资金都用在采后环节。农产品产后产值与采收时自然值的比例，美国为 3.7:1，日本为 2.2:1，我国仅 0.38:1。目前发达国家水果产后商品4 化技术处理比例达到 80-90%，而我国技术处理比例 (包括简单手工分类的在内 )还不到总产量的 2%。 除了规模化的工业应用之外，目前还没有将水果识别应用到消费产品中，图像智能识别技术可以与传统设备相结合，获得更好的用户体验，提高工作效率。 在水果识别学术研究方面，从 80 年代开始， 国内外就有学者研究水果的 计算机自动识别，传统的水果识别仅仅基于水果的轮廓曲线特征 27，近年来出现了一些基于模式识别算法的较新方法，比如文献 6,1
9、2描述了基于神经网络的水果识别系统 ， 并利用了多种光谱下的水果图像来进行识别 1。这些技术相比早期方法有了很大进步，但是还存在一些不足，大部分的研究都集中于分类器的设计，忽略了系统前端的图像信号采集和有效特征提取。神经网络系统对于输入的水果图像直接进行训练，没有考虑样本中存在的噪音。神经网络中最优参数的选择也只能根据经验。在图像采集方面虽然加入多光谱图像，但是成本较高，无法得到推广 。在一个模式识别系统中，除了分类器的选择和训练，图像特征的筛选、采集环境、信号预处理、最佳训练样本选择都对系统性能有着重要影响，因此，为了获得更好的性能，必须基于用户的实际需求，从一个系统、整体的观点，来构建一个
10、更加有效的水果识别系统。 借鉴国际发展历史，水果智能识别技术必将越来越多的进入行业领域，因此，作为水果分级、分类识别中核心的计算机图像处理技术，可使分类检测实现全自动化、摆脱传统人工操作，可以为行业发展提供广阔空间，利用新兴的先进技术手段和方法可以大大提高我国水果产后的处理水平，提高生产效率，提升我 国水果国际竞争力。水果图像分类还可以广泛应用于商业销售环节，比如自动称重，自动计价，提供便捷的人机交互方式，减轻人工负担。 1.3 研究目的和主要内容 水果分类识别是一个范围很广的课题，前人多研究单类水果的品质分级，缺陷检测，水果成熟度识别，机器人采摘系统等，鲜有研究多类水果识别的项目，而多类水果
11、识别在实际中有着广阔的应用价值，比如在发达国家的超级市场，用户可以进行自助水果购买。在生产线上，多类分类还可以减少人工差错，提高生产效率。本文从国内外发展的状况及我国的国情出发，在现有项目组研究基础上，选取常见的几 类水果为研究对象，主要内容是解决目前利用 2D 计算机图像来分类水果存在的问题，提高现有分类系统的识别精度，力求达到实用化水平。主要内容包括： （ 1）水果分类中的光照系统，水果识别系统工作在不同环境，而图像采集对于光照变化非常敏感，通过初步调研发现，现有的光照校正算法，无法彻底解决光照问题。为了从源信号保证系统的稳定性，课题需要研究如何设计一套针对水果识别的光照系统。目标是保证室
12、内环境和室外环境下，水果颜色的恒常性。机器视觉检测有很多相关的实际产品，可以作为设计参考。 （ 2）水果图像预处理算法，获得水果图像后， 由于 CMOS或者 CCD传感器不可避免存在噪音，各种器件噪音水平有差异，噪音对于提取稳定的水果特征是有害的，因此，在进行特征提取前，首先要进行图像预处理，包括噪音去除，图像对比度增强，颜色还原，预处理算法一般会对图像造成失真，失真过大将破坏图像原有结构，因此，在设计预处理算法时，要充分考虑到后续的特征提取，在噪音过滤和特征保持之间做一个合理的平衡。 （ 3）提取描述水果的有效特征，包括形状，颜色和纹理。描述一个水果需要很多特征，从人类视觉出发，这些特征包括
13、水果形状，水果颜色，水果的纹理变化。不同的特征在分类中所 起的作用是不同的，而且不同水果之间区分所用的特征也是不尽相同。在实际环境中，不同特征对于光照，角度的稳定性也是有差别，因此，需要5 设计一个完善的特征提取和组合策略，才能设计出一个性能很好的分类系统。基本的研究方法是进行计算机统计分析，在众多参数组合中进行优化。最终提取的水果特征，都表现为一串数字。特征提取是整个系统中最重要的一个步骤，这也是人类强大视觉识别功能的秘密所在。 （ 4）水果分类器设计，特征提取结束后，每一张水果图像将得到一段数据，被输入到一个分类器中，经过判别，得出最终结果。分类器分为阈值分类器，最 近邻，神经网络 12，
14、支持向量机 14,15，线性判别 34等多种类型，每一种类型具有不同的计算复杂度和性能。但是，当特征提取足够优化时，他们之间的差别就不明显了，在实际系统中，着重考虑的是分类器的复杂度，一般的，都采用阈值分类器和最近邻分类器。 （ 5）分类算法的实现。嵌入式系统实现，在嵌入式上实现复杂算法具有很大的挑战，一方面产品设计有确定的需求，算法须高度优化，并且系统的稳定性也非常重要。这需要学习特定嵌入式系统的架构，以便进行代码优化，常见的优化方式有循环拆解，减少内存数据拷贝，利用操作系统的进 程通信特性等。 1.4 论文的组织和安排 本论文的各章具体内容安排如下： 第一章介绍了本课题的研究背景，总结传统
15、水果图像处理系统的不足，指出了研究水果分类系统的必要性，并概括了主要研究的课题。 第二章介绍了水果分类相关的基本理论基础和算法实现 ,详细讨论了本课题中使用的图像处理算法和模式识别方案 。 第三章阐述了水果分类系统的硬件整体设计和软件概要设计。包括光源、图像采集装置、嵌入式系统。 第四章从工程实现角度，描述了软件详细设计和实现，包括具体数据结构定义，如何实现多线程，函数 执行 流程。 第五章介绍了水果分类 原型系统的实际应用和性能测试，包括识别精度、速度。并讨论存在的问题和后续开发方向。 第六章总结了本课题的实施和完成情况，并对课题后续工作做了展望。第二章 水果分类的基本技术 6 第二章 水果
16、分类的 图像算法设计 2.1 计算机数字图像处理 数字图像处理（ Digital Image Processing）又称为 计算机 图像处理 5,16， 它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。 数字 图像处理 最早出现于 20 世纪 50 年代 ， 当时的 电子计算机已经发展到一定水平 ， 人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于 20 世纪 60 年代初期。早期的图像处理的目的是改善图像的质量 ， 它以人为对象 ， 以改善人的视觉效果为目的。图像处理中 ， 输入的是质量低的图像 ， 输出的是改善质量后的图像 ， 常用的图像处理方法有图
17、像增强、复原、编 码、压缩等。首次获得实际成功应用的是 美国 喷气推进实验室（ JPL）。他们对航天探测器徘徊者 7 号在 1964 年发回的几千张月球照片使用了图像处理技术 ， 如几何校正、灰度变换、去除噪声等方法进行处理 ， 并考虑了太阳位置和月球环境的影响 ， 由计算机成功地绘制出月球表面地图 ， 获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理 ， 以致获得了月球的地形图、彩色图及全景镶嵌图 ， 获得了非凡的成果 ， 为人类登月创举 奠定了坚实的基础 ， 也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术 ， 如对火星、土星等星球的探测研究中 ， 数字图
18、像处理技术 都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。 1972 年 英国 EMI 公司工程师Household 发明了用于头颅诊断的 X 射线计算机断层摄影装置 ， 也就是 CT（ Computer Tomography）。 CT的基该方法是根据人的头部截面的投影 ， 经计算机处理来重建截面图像 ， 称为图像重建。 1975 年 EMI公司又成功研制出全身用的 CT 装置 ， 获得了人体各个部位鲜明清晰的断层图像。 1979 年 ， 这项无损伤诊断技术获得了诺贝尔奖 ， 说明它对人类作出了划时代的贡献。与此同时 ， 图像处理技术在许多应用领域受到广泛重视并取得
19、了重大的开拓性成就 ， 属于这些领域的有航空航天、 生物医学工程 、工业检测、机器人视觉、公安司法、军事制导、文化艺术等 ， 使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展 ， 从 70 年代中期开始 ， 随着计算机技术和 人工智能 、思维科学研究的迅速发展 ，数字图像处理向更高、更深层次发展。人们已开始研究如何用 计算机系统 解释图像 ， 实现类似 人类视觉系统 理解外部世界 ， 这被称为图像理解或 计算机视觉 。很多国家 ， 特别是发达国家投入更多的人力、物力到这项研究 ， 取得了不少重要的研究成果。其中代表性的成果是 70 年代末 MIT 的 Marr 提出的
20、视觉计算理论 ，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上已取得不小的进展 ， 但它本身是一个比较 难的研究领域 ， 存在不少困难 ， 因人类本身对自己的视觉过程还了解甚少 ， 因此计算机视觉是一个有待人们进一步探索的新领域。 7 2.2 水果分类的基本图像处理算法 一个基本的图像处理系统由照明系统、图像采集、图像预处理、图像增强、图像归一化等步骤组成。处理的每一个步骤对于系统性能都很关键，但是根据不同的需求，每一个步骤的重点会有所不同。图像处理是一项典型的串行工作流，在进行系统设计时，必须考虑步骤之间的联系，才能做到可靠、优化的性能。 图像成像必须要有光源，
21、物体表面的形状变化，物体材质的不同属性，将在图像上呈现不同 色彩、亮度，这 是 成像的物理基础，因此必须考虑光源的设计。在工业检测领域，一般使用高纯度，光强分布均匀的 LED 光源（图 2-1），但是其造价高。在技术指标满足的条件下，可以使用替代的光源，满足光强近似均匀，光源从上方垂直向下照射，距离水果约 30cm，如图 2-2。 图 2-1 工业 LED 光源 图 2-2 水果识别的光源结构 图像采集是将现实世界中模拟的图像信号转换为计算机可以处理的数字信号的过程。图像可以分为黑白图像和彩色图像，从采集器件方面考 虑，目前业界成熟的技术有 CCD 和 CMOS 感光器件 34,35。 CCD
22、 （ Charge-coupled Device），电荷耦合组件，是一种集成电路，上有许多排列整齐的电容，能感应光线，并将图像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。 CCD 的优点是光效率可达 70%，并且是全局曝光成像，因此不会存在严重的拖影。但是缺点是尺寸较大，分辨率不容易提高，典型的 CCD 芯片如图 2-3 所示。而另一种广泛应用的器件 CMOS（ Complementary Metal-Oxide-Semiconductor），互补式金属氧化物半导体，具有分辨率大，尺寸小，功耗低的特点，越来越多的应用到工业和消费领域。 CMOS 是所有硅芯片
23、制作的主流技术， CMOS 感光组件造价低廉， CMOS 感光组件跟 CCD 相比，耗电量较低，数据传输亦较快，典型的 CMOS 芯片如图 2-4 所示。 CCD 和 CMOS具有不同的技术特点，因而具有不同的应用市场。 图 2-3 CCD 传感器 图 2-4 CMOS 传感器 8 图像预处理，包括去除噪音、几何校正。 CCD 和 CMOS 都会受到各种电子信号、温度变化的干扰，因此采集的数字图像与现实世界图像相比，存在一定程度的噪音（图 2-5），这时需要使用图像滤波器进行图像去燥和平滑。采集系统中的光线是经过镜头透射到传感器表面，镜头的安装位置、镜头本身存在的缺陷，会导致图像失真，一般会对
24、镜头进行标定，得到标定参数再进行图像校正，镜头成像光路如图 2-6 所示。 图 2-5 图像噪音 图 2-6 镜头成像光路 图像增强，图像采集过程中发生的噪音、图像模糊会降低图像质量，为了最大程度的还原图像信息，需要进行图像增强。特别的，图像处理系统往往关注图像某一方面的信息，比如颜色或者形状或者纹理，不同信息对于图像质量的要求是不同的，图像增强的目的就是最大化保留将要关注的信息。例如，颜色增强的方法是调节图像的彩色直方图分布，形状增强的方法是通过边缘检测，纹理增强方法是通过对比度调节，锐化滤波器实现。图像锐化和图像平滑的效果如图 2-7 和 2-8 所示。 图 2-7 图像锐化效果 图 2-
25、8 图像平滑效果 9 2.3 水果的图像特征 经过图像处理后，为了区分每一类水果不同的特点，需要对水果图像进行特征提取。根据文献 29，基本的水果图像特征包括：水果大小、水果形状、水果颜色。下面将讨论如何提取得到这三个特征。 水果大小，当图像传感器的距离与水果固定时，水果大小就是水果在图像中所占像素个数。为了计算水果像素个数，需要让计算机计算水果在图像中的区域。由于水果的形状是无法预测的，而且水果放置的位置也无法精确固定和测量。但是如果已知拍摄场景的背景，并且 水果像素与背景像素不同，将含有水果图像的图像减去背景图像，则可以得到哪些像素发生了变化，即水果区域 ，这种方法称为背景差分法， 如图
26、2-9 所示： 图 2-9 水果区域提取方法 在实际情况中，背景颜色的选择不能和水果颜色冲突，白色和黑色是合适的选择，考虑到光源对于白色背景会有强烈的反光，不利于表现水果的细节特征，因此选择黑色纸背景。由于摄像机的固有噪音，即使有光源，还是会受到环境光的感染，拍摄的背景图像不是理想的黑色，存在噪音，需 要进行平均多幅背景图像去除噪音。最后得到的水果区域也不是理想的，可能会存在多个区域。注意到干扰的多个区域面积都比真正水果区域小很多，所以直接取最大的区域作为水果区域。 水果形状，图像的形状特征包括周长、边界弯曲程度、接近圆的程度。苹果、橘子等水果边界都较为光滑，都接近圆形，而香蕉则属于条形，梨子属于长方形。假设水果区域面积为 S , 周长为 L ，选择 圆度参数 SLt 2 参数来衡量形状接近圆的程度，如果为圆，则数值等于 4 ，若大于 4 ，则说明为非圆形。数值越大，越接近长方形。为了分析水果长轴和短轴，还可以进行下面的计算，假设水果形状可以建模为长方形，其变长分别为 hw, ，那么根据测量的 S 和 L ，可以得到方程： Lhw Swh )(2计算出 hw, 后，可以利用),min( ),max( hw hwr 来定义长方形的 长宽比， rt, 满足 8)1(4 rrt (1) (2)
