1、基于机器视觉的杂草图像特征提取及识别研究学生姓名XXX指导教师XXX所在院系XXX所学专业XXX研究方向XXXXXX大学XXX年XXX月BASEDONMACHINEVISIONIMAGEFEATUREEXTRACTIONANDRECOGNITIONWEEDSNAMEXXXTUTORXXXCOLLEGEXXXMAJORXXXDIRECTIONXXXXXXUNIVERSITYMAYXXX基于机器视觉的杂草图像特征提取及识别研究I摘要杂草同农田作物争夺阳光和养分，严重影响了农作物的生长。为了达到除草的目的，人们开始喷洒大量的除草剂来进行除草。可是却忽略了除草剂的不当使用给人、畜以及环境造成的危害。本
2、文从实际应用出发，设计了一个基于机器视觉的杂草图像特征提取及识别系统。系统的运行在参考了前人研究成果的基础上，不断进行对比试验和算法的改进，找出适合于机器视觉的杂草识别的可行性方法。本文对动态杂草图像的采集、处理和识别方法进行研究。采集来的图像经常会有模糊现象的发生，对模糊图像的恢复处理做了大量的研究试验，得出维纳滤波具有较好的恢复效果；绿色植物和土壤背景的分割试验中，提出了一种基于彩色图像的二值化方法，可以不经过彩色图像灰度化就能够直接把绿色植物与土壤背景分割开，和以往的分割方法相比处理速度快，分割效果好，更加满足实时性；杂草和作物的分割主要研究了行间杂草和作物的分割，参考国内外资料，并进行
3、研究试验，表明运用位置特征识别法有很好的分割效果，寻找作物中心行采用了简单快速的像素位置直方图法，填充作物中心行采用了改进的扫描线算法，和其他填充方法相比减少了重复操作，节省了时间，满足实时处理的要求；分割后的图像为只含有杂草的二值图像，通常会有一些残余的叶片和颗粒的噪声，通过形态学滤波和扫描线填充算法去除噪声，试验结果表明扫描线算法去除噪声效果更好。基于机器视觉的杂草图像特征提取及识别系统的硬件组成主要有计算机、采集卡、摄像头、实验平台。本文从动态杂草识别的处理方法出发，在实验室内开展了一系列的试验和分析，对主要的问题和技术难点作了较为深入的研究,设计实现了基于机器视觉的杂草图像特征提取及识
4、别系统。关键词杂草识别；图像处理；机器视觉基于机器视觉的杂草图像特征提取及识别研究IIBASEDONMACHINEVISIONIMAGEFEATUREEXTRACTIONANDRECOGNITIONWEEDSABSTRACTWEEDCONTESTSSUNLIGHTANDNUTRIENTWITHCROP,ASARESULT,THEGROWTHOFCROPWASSERIOUSLYAFFECTEDPEOPLEFALLBACKONSPRAYINGAGREATDEALOFHERBICIDEFORWEEDINGPURPOSE,BUTTHEYIGNOREDMISAPPLYINGOFHERBICIDEWILL
5、ONLYPOLLUTETHEENVIRONMENTBUTALSOJEOPARDIZESHUMANANDLIVESTOCKSOITSNECESSARYTODEVELOPANINTELLIGENTWEEDINGMETHODTHEPAPERDESIGNEDASYSTEMOFIMAGEFEATUREEXTRACTIONANDRECOGNITIONWEEDSONTHEBASISOFMACHINEINORDERTOFINDAFEASIBLEDYNAMICWEEDIDENTIFYINGMETHODWECONSULTEDPREDECESSORFORTHEIRRESEARCH,ATTHESAMETIME,WED
6、IDALOTOFCOMPARISONEXPERIMENTSTOIMPROVETHEARITHMETICTHEPAPERSTUDIEDMOSTLYONTHEIMAGECOLLECTION,PROCESSINGANDIDENTIFICATIONTHEREWILLBEABLURINMOVINGPICTURES,SOWEHAVETODOALOTOFEXPERIMENTTORESTORETHEBLURRYIMAGEATLASTWEFINDTHATWIENERFILTERISAPREFERABLEMETHODWEPUTFORWARDABINARYMETHODBASEDONCOLORIMAGEINTHEEX
7、PERIMENTOFSEPARATINGGREENPLANTSFROMSOILBACKGROUND,THEMETHODCANSEPARATEGREENPLANTSFROMSOILBACKGROUNDWITHOUTCONVERTINGCOLORIMAGETOGRAYLEVELIMAGE,SOTHEMETHODISMOREFAST,BETTERSEGMENTATIONEFFECTCOMPARINGWITHTRADITIONALMETHODS,ANDTHUSMEETTHEREQUESTOFREALTIMEPROCESSINGTHEPAPERSTUDIEDONTHESEPARATIONOFROWSPA
8、CEWEEDFROMCROP,HAVINGCONSULTEDMATERIALSOFHOMEANDABROAD,WEDIDALOTOFEXPERIMENTANDFINDOUTTHATLOCATIONCHARACTERMETHODHASAGOODSEGMENTATIONEFFECTWEADOPTEDPIXELLOCATIONHISTOGRAMWHICHISSIMPLEANDFASTINFINDINGCENTRALCROPROW,ANDADOPTEDIMPROVEDSCANBEAMARITHMETICTOFILLCENTRALCROPROWCOMPARINGWITHOTHERMETHODSTHEME
9、THODCANREDUCEREPEATINGOPERATIONS,SOITCANSAVETIMETOMEETTHEREQUIREMENTOFREALTIMEPROCESSINGSEGMENTEDIMAGEONLYCONTAINSWEED,BUTTHEREUSUALLYWILLARESOMEREMNANTSLEAVESANDRANDOMNOISE,WEDISPOSENOISEAPPLYINGMATHEMATICALMORPHOLOGYMETHODANDSCANBEAMARITHMETIC,RESULTSOFTHEEXPERIMENTSHOWEDTHATSCANBEAMARITHMETICISBE
10、TTERINDISPOSINGNOISETHANOTHERMETHODSBASEDONMACHINEVISIONIMAGEFEATUREEXTRACTIONANDRECOGNITIONWEEDSISMADEUPOFPC,IMAGECOLLECTIONCARD,DIGITALVIDICON,EXPERIMENTCONSOLETHEPAPERDESIGNEDANDREALIZEDASYSTEMOFDYNAMICWEEDIDENTIFICATIONBASEDONPROCESSINGMETHODASERIESOFEXPERIMENTANDANALYSESAREDEVELOPEDANDCARRIEDOU
11、TANINDEPTHSTUDYTOSOMEPRIMARYPROBLEMINTHELABORATORYSTUDYOFTHEPAPEROFFEREDACADEMICANDPRACTICALREFERENCESFORTHEDESIGNINGOFBASINGONMACHINEVISIONIMAGEFEATUREEXTRACTIONANDWEEDIDENTIFICATIONSYSTEMINACTUALOUTDOORENVIRONMENTKEYWORDSWEEDIDENTIFICATIONIMAGEPROCESSINGCOMPUTERVISION基于机器视觉的杂草图像特征提取及识别研究III目录摘要IAB
12、STRACTII1前言111研究目的及意义112国内外研究动态和趋势2121国外研究现状2122国内研究现状413课题研究的主要内容414本章小结52基于机器视觉的杂草图像特征提取及识别系统概述621实验系统的整体结构622实验系统的组成623本章小结73机器视觉的杂草图像的采集及图像恢复的研究831机器视觉的杂草图像的采集8311动态采集图像的数据格式及传输方式8312动态图像采集的软件系统832动态模糊图像的恢复9321图像恢复的基本知识9322匀速直线运动模糊下的点扩展函数10323逆滤波复原12324维纳滤波复原1433本章小结164绿色植物与土壤背景实时分割的研究1741图像分割概述
13、1742彩色图像灰度化17421彩色图像的主要颜色模型17422过绿特征分离绿色植物与土壤背景19423HIS方法分离绿色植物与土壤背景1943二值处理和阈值分割方法21431动态阈值二值化方法21432颜色特征二值化方法22433两种二值方法的比较2244本章小结225作物与行间杂草实时分割的研究2451作物与杂草动态识别概述24基于机器视觉的杂草图像特征提取及识别研究IV52位置特征法分离作物和行间杂草24521位置特征法的应用原理24522提取作物中心行24523填充作物行区域分割出杂草2553杂草分离后二值图像滤波处理27531数学形态学方法滤除二值图像噪声28532扫描线算法滤除二值
14、图像噪声2954杂草面积和重心位置的获取3055本章小节316结论与展望3261结论3262展望32参考文献33致谢35基于机器视觉的杂草图像特征提取及识别研究11前言11研究目的及意义杂草是生态系统中的一员,农田杂草是农业生态系统中的一个组成部分，它直接或间接的影响着农业生产，给经济作物带来很大的危害。杂草不仅与农作物争夺阳光、水分、肥料、还与作物争夺生存空间，不经过及时的处理，会阻碍作物生长，导致作物产量的下降，产品质量受损，甚至妨碍农作物收获，增加生产费用1。据统计,目前世界上共有杂草近5万种,农田杂草8000多种，而危害主要粮食作物的约有250多种。在我国，杂草分布区域也十分广泛，据我
15、国农业植保总站近年调查发现，我国农田杂草约1500多种，其中给农作物造成严重危害的杂草有17种；危害范围较广、危害较严重的主要杂草有31种；地域性杂草有24种；一般不对农作物造成较严重危害的次要杂草有183种2。为了减轻草害，人们投入了大量的人力与物力。统计表明，美国每年因为杂草在64种农作物中造成的损失达75亿美元，而每年用于化学除草的费用高达36亿美元，用于机械和其它除草的费用达26亿美元3。我国用在除草上的劳动量也高达2030亿个劳动日，即便如此，我国草害造成的粮食损失平均达134，年损失粮食产量约17500KT4。人们为了减轻杂草对农作物的危害以及造成的经济损失，经常采用的几种除草方法
16、包括机械除草、化学除草、人力除草、静电除草，还有生物除草等。人力除草由于浪费人力，效率又低，现在很少被使用；机械除草虽然效率较高，对环境污染小，但需消耗大量的动力，造成土壤压实，对下茬作物的生长不利；静电除草能除掉部分杂草，但可能造成作物烧伤，甚至影响土壤结构，降低土壤的生产能力；生物除草是从分子生物学角度进行研究，利用动物、昆虫、病菌等方法防除某些杂草,但还没有真正应用于生产。目前应用最广泛的除草方法是化学除草，化学除草是利用化学农药（除草剂）进行防除杂草的方法，其主要特点是高效、省工，尤其是可以免去繁重的田间除草劳动，解放田间的劳动力，正因为化学除草具有其他除草方法所不具备的优点而被广泛应
17、用。但是，在人们大量的使用除草剂防治草害的同时，也产生了许多不良影响，如污染农副产品及破坏生态平衡。人们从化学除草所带来的负面影响，已深刻认识到单纯依赖化学防治和“地毯式”大量喷洒除草剂的错误做法5。因此，想到应该采取一些有利的措施，既能有效的消除草害，提高粮食作物的产量，又能保护好人们的生存环境，达到可持续发展的目的，这就使得科学工作者对杂草控制新方法的研究成为了必然。信息技术的发展对当今社会产生了巨大而深远的影响，作为信息处理主要手段的计算机视觉技术已经渗透到科学研究和工农业生产的各个领域。计算机视觉技术已经日趋成熟和完善，而计算机图像处理和图像分析是当前国际上正在发展的一门新兴学科，是人
18、工智能领域中的一个极为重要的方面，也是智能应用的热点之一6。随着计算机和图像处理技术的不断发展，农田智能除草技术将成为一个新的研究领域。智能除草是利用计算机视觉和图像处理技术识别出作物中的杂草并确定作物与杂草的位置和杂草的面积，从而在软件控制条件下进行动态的采集、处理、识别，来减少化学除草剂对环境的污染，进而达到除草自动化。这不仅能提高农业生产的科学水平、减少草害，而且对保护生态、实现农业的基于机器视觉的杂草图像特征提取及识别研究2可持续发展有着十分重大的现实意义。12国内外研究动态和趋势国外早在80年代就开始了利用计算机识别杂草的研究。杂草识别的研究经历了由实验室到户外田间，由静态到动态的发
19、展过程。但是至今能够真正应用在田间的机器视觉的杂草识别还不成熟。系统的实现关键在于杂草的识别方法问题。近年来科学家们进行杂草识别的研究方法主要有颜色特征分析法、形状特征分析法、纹理特征分析法、光谱分析法和位置特征分析法。121国外研究现状1颜色特征分析法颜色特征分析是用于杂草识别的重要方法。在大自然中，植物呈现绿色，土壤呈黄褐色，岩石和无生命的植物残渣呈淡黄色。根据植物和背景的颜色特征差异就可以将植物从复杂的土壤背景中分离出来。有些杂草的茎呈现褐色，根据杂草和作物的颜色差异能够将它们区分开。TANG7等人，研究了在室外自然光照条件下，以人工分割的结果为导师信号，在HIS颜色空间中利用遗传算法进
20、行了植物和背景的分割，以克服田间光照的巨大变化对分割性能的影响。WOEBBECKE8等人在土壤、作物残留物和光照变化的条件下,利用RGB颜色特征参数来识别杂草、土壤和作物残留物，发现用这些颜色特征参数可以将杂草、作物和背景分割，同样也不能有效识别杂草和作物种类,也不适于区别单子叶和双子叶植物。ELFAKI9利用作物和杂草的颜色特征识别杂草的方法。采用4个颜色特征参数，进行有选择的组合，再把这些组合作为输入分量输入到一个统计分类器和两个神经网络分类器，结果证明统计分类器的效果最好，对大豆和小麦的正确分类率为54,622。2形状特征分析法形状特征分析法是利用植物的叶片形状差异进行识别。基本形状特征
21、包括面积、周长、长度和宽度等，根据这几个基本的形状特征组合出形状特征参数，利用这些组合后的形状特征参数对杂草和作物进行识别。GILESDK10等人利用图像形状匹配函数来识别杂草种类，他们研究了3种草筒麻、狐尾草和打碗花和大豆苗在子叶生长期的形状。这种方法不受子叶的大小和方向的影响，但当叶子形状复杂和叶子数目较多时却无能为力。GUYER11等人使用叶子的形状特征来识别植物的种类，他们获得八种植物的图像，使用紧密度（COMPACTNESS）、惯性中心矩（CENTRALMOMENT）和惯性的主轴中心矩（PRINCIPALAXILMOMENT）等参数能识别早期阶段生长的植物。2000年，PEREZ12
22、等人在最初提取的多项形状特征参数中筛选出了7项参数作为形状特征，应用贝叶斯统计分类器和K最近邻域分类器进行分类。3纹理特征分析法纹理是由很多细小的单元构成，从整体上能反应某种规律性，其灰度分布表现出某种基于机器视觉的杂草图像特征提取及识别研究3周期性。仔细观察，会发现植物的叶片有着不同的纹理。因而可以利用叶面的纹理信息来识别作物和杂草。用于特征提取的纹理特征为共生矩阵、方向行灰度级能量、方向滤波掩模和分形维数、局部极值等。将图像纹理处理技术应用于彩色图像是SHEARESHEARSA,1990首先提出的，对7种人工培育的植物进行识别，分别有色调、饱和度、亮度得出一个颜色共生矩阵，从每个颜色共生矩
23、阵中计算出11个纹理特征，共产生33个颜色纹理特征，用于植物识别的准确率达91。MEYER13等人利用传统灰度共生矩阵产生4个纹理统计特征角二阶矩ANGULARSECONDMOMENT灰度共生矩阵元素值平方和、惯性矩INERTIA对比度，表示图像的清晰度、墒ENTROPY图像信息量的度量和局部均匀性LOCALHOMOGENEITY逆差矩。利用上述4种参数识别杂草和土壤背景物准确率可达93。BURKS14等人利用颜色共生矩阵COLORCOOCCURRENCEMATRIX导出11种颜色纹理特征来识别5种杂草筒麻、狐尾草葬、马唐和打碗花和土壤背景，识别率可达93。4应用光谱分析的识别方法光谱分析方法
24、是根据物体对光的反射特性的不同，利用杂草、农作物和土壤背景的反射光谱的不同进行分析，达到识别杂草的目的。植物在生长过程中，由于植物叶面组织结构的不同，对一定波长的太阳光吸收和反射也有所不同，因此可利用这种特性来区分杂草、作物和土壤背景。BROWN等人运用分光辐射谱仪在自然光照条件下测定了棉田中的几种杂草在400900NM范围内的反射率，通过分析得到了440，530，650，730NM四个特征波长能够对杂草进行有效的识别。NWANG,NZHANG通过二级管分光计研究小麦和9种杂草的茎和叶以及土壤的光谱特性，选定5个波长值496NM，546NM，614NM，676NM，752NM作为输入变量的特征
25、波长值，以此建立杂草识别的分类器模型，并设计了一种光学杂草识别传感器。田间的实验结果表明，当把选定的9种杂草作为杂草类，与小麦、土壤进行分类时，训练分类器时分类正确率分别为643、983、987，验证分类器时分类正确率分别为625、831、795；当杂草密度高于002PLANTS/CM时，训练和验证分类器时的分类正确率都高于70。当杂草以单株形式出现于土壤背景时，其分类正确率降低到50以下。在进行杂草密度的实验中，没有发现杂草和小麦之间的错误分类。AHMADU15等人利用由物镜、6片滤光片、成像光谱仪组成的机器视觉系统识别田间杂草，田间杂草的识别准确率达到了914。BORREGARD等人运用成
26、像光谱仪测定了马铃薯和甜菜以及几种杂草在6701070NM范围内的反射率，选定694,970,856,686,726,879,978NM作为特征波长，马铃薯和杂草的识别率达到了94，甜菜和杂草的识别率达到了87。虽然利用光谱特征分析法在实时性方面具有很大的优势，但高光谱成像设备的成本却相当高。5位置分布特征法位置分布特征法是基于作物的规律性种植提出的一种快速识别作物和行间杂草的方法。利用这种方法可以计算出杂草在田间分布的密度，对于条播作物除草具有广泛的研究意义基于机器视觉的杂草图像特征提取及识别研究4和价值。HJOLSEN曾经采用纵向统计灰度值的方法，提取作物行信息，从而达到识别的目的。BLS
27、TEWARD和LFTIAN研究了自适应扫描算法来获取作物行间信息，能够实现对行间杂草的识别。122国内研究现状国内，不少研究人员也对杂草识别的方法进行了研究，但尚处于开发阶段。莱阳农学院和吉林工业大学的纪寿文、王荣本、陈佳娟16等作了“应用计算机图像处理技术识别玉米苗田间杂草的研究”，利用计算机图像处理技术分析了玉米苗期田间杂草的特征量，识别出了田间杂草并确定了杂草的位置和生长状况。研究中采用直方图双峰法滤除了土壤背景，根据投影面积、叶长、叶宽识别出了杂草，并且根据杂草投影面积确定出了杂草密度。实验结果表明，此方法可识别出玉米苗期田间细长的单子叶杂草。但是，不适用于玉米的植株比杂草矮小的情况和
28、叶片比较宽大的双子叶杂草的识别。此方法识别处理的时间较长。中国农业的大学的相阿荣17等人研究了利用颜色特征从土壤背景中识别杂草的方法和形状特征识别杂草的方法。西北农林科技大学的龙满生18等人以玉米苗期杂草为研究对象，分析了不同的颜色指标分割土壤背景的可行性，并对分割后的图像从形状上提取有效的特征，能识别出阔叶杂草、窄叶杂草和玉米苗。刘敏19等人把分形维数引入自然光照条件下田间杂草图像纹理的分析中，用分形维数来表征微观杂草叶子纹理和宏观杂草丛纹理的粗糙程度，取得了一定的区分识别效果，与传统的纹理分析方法相比，该方法在时间复杂度和识别效果上具有明显的优势。吉林工业大学的陈晓光20应用图像处理技术对
29、蔬菜苗的生长阶段进行判断。中国农业大学的毛文华21等人以小麦田作物为研究对象，利用位置特征，识别出行间杂草，并利用光谱特征识别作物与杂草的方法，通过作物和杂草的定性分析，运用筛选的特征波长识别小麦和杂草的正确识别率可以达到100。江苏大学的潘颖22等人以茄科类作物和杂草为研究对象，针对茄科类作物和杂草的形状特征、纹理特征作为模式识别的输入特征，采用神经网络的方法进行学习和训练，对茄子、青椒、干金子、马唐、凹齿苋的识别率分别为96，94，100，96和94。从我国杂草识别的研究现状看，研究内容主要针对静态图像的采集、处理与识别，而现实中杂草识别应具有动态实时性。因此，从农田应用的角度出发，对于机
30、器视觉的杂草识别还需要不断的深入研究，找出适合于动态实时性的识别方法。13课题研究的主要内容本课题以大豆作物为研究对象，以实现杂草的动态采集、处理、识别为目的，在总结国内外研究成果的基础上，结合已有的杂草识别理论和方法，研究适合机器视觉的杂草实时处理与识别的方法，并在实验室现有的实验平台上进行图像的采集、处理及识别试验。通过不同方法的对比实验，提高处理与识别速度，并为农田机器视觉的杂草识别提供良好的理论基础。研究内容如下基于机器视觉的杂草图像特征提取及识别研究51图像的采集在实验室内，利用大恒卡提供的库函数运用VC语言进行二次开发采集模拟田间环境的图像。2动态模糊图像的恢复处理采集来的图像经常
31、会有模糊现象发生，根据模糊产生的原因，找到适当的点扩展函数，对逆滤波复原和维纳滤波复原进行对比试验，寻找最佳复原方法。3绿色植物与背景分离的研究。在此研究试验中采用了两种方法进行了分离试验。一是利用超绿法进行图像灰度化，再采用动态阈值方法进行分割；另一种是直接对彩色图像进行二值化处理达到分割的目的。但是考虑到动态试验的实时性，要求减少计算量，速度快的特点。比较两种方法，选择出适合于动态处理的最佳方法。4作物同行间杂草分离的研究。根据作物成行排列，而大部分杂草分布于作物行与行之间的特点，采取一种快速有效的分离作物与行间杂草的方法。并通过试验能找到适合于实时处理的提取作物行和填充作物行的简单快捷的
32、算法。5去除二值图像噪声的研究。为了减少二值图像中由于噪声的干扰带来的影响，使用形态学滤波和扫描线算法去除噪声，找出适合于处理二值图像噪声的最佳滤波方法。14本章小结本章主要阐述了课题的研究目的、意义和国内外在杂草识别方面的研究现状。农田杂草是不可忽视的问题，它对农作物有很大的危害，除草成为农作物生长过程中必不可少的一步，智能除草方式有待进一步提高。多年来，国内外在杂草识别方面主要是利用植物的形状、纹理、颜色、光谱特性，位置特性对杂草识别进行了大量的研究，取得了很多研究成果。但这些研究大部分基于杂草的静态处理与识别，本课题着眼于豆田杂草，提出了适合于杂草动态采集、处理、识别的研究内容。基于机器
33、视觉的杂草图像特征提取及识别研究62基于机器视觉的杂草图像特征提取及识别系统概述21实验系统的整体结构为了更好的在现实生活中实现杂草的动态识别，在总结前人研究理论的基础上，本系统在实验室内模拟户外环境（实验台上的传送带可以以不同的速度运行），尝试采用不同算法进行对比试验，并经过不断的改进和完善，能够实现实验室内进行动态系统的运行。本实验系统实现了从杂草图像采集、处理、识别的一系列过程，通过软件接口与单片机等硬件相连，使得整个系统能够顺利运行。下面是系统的组成结构图基于机器视觉的杂草图像特征提取及识别系统图像采集图像分割图像识别图21系统整体结构框图22实验系统的组成计算机视觉是现代科学的前沿，
34、很多动态识别与检测系统都离不开它的支持。它利用摄像头（相当于人的眼睛）采集图像，与主机相连的图像采集卡将图像采集到内存或屏幕，也是将电信号转化成数字信号的过程。本课题的实验系统主要由摄像头、图像采集卡、光源、计算机、由动力设备带动的传送带的实验台等构成，控制箱可以调节传送带的运行速度、方向和传送带的运行与停止，可以调节摄像头的上下左右的位置。把从田间采集来的带有残茬的土壤和植物放到实验平台上，让传送带运转起来，模拟户外的环境进行动态采集。1摄像头本系统采用日本松下WVCP410系列彩色数字摄像机，采用1/3英寸高清晰度行间CCD图像传感器，其最小照度008勒，水平清晰度570行，扫描方式为21
35、隔行扫描。摄像头属于图像捕捉设备，它将采集来的视频信号通过置于计算机内部的图像采集卡输入计算机的缓存中，等待计算机发出指令进行处理。基于机器视觉的杂草图像特征提取及识别研究72图像采集卡图像采集卡是摄像头与计算机的接口，它的功能是将采集来的模拟信号转换成数字信号。而且还能够把摄像机采集来的图像信息进行解码转化为能在计算机中进行存储和处理的图像数据格式，是最常用的图像数字化设备。本实验系统采用中国大恒有限公司生产的DHCG300彩色视频图像采集卡。图像最大采集分辨率76857624BIT。它具有使用灵活、集成度高、功耗低等特点。在进行采集传输时基本不占用CPU时间，并可将图像直接传送到计算机内存
36、或显存，因此图像处理可以直接在内存中进行，图像处理的速度随CPU速度的不断提高而得到提高，因而使得对主机内存的图像进行实时处理成为可能。DHCG300正因为具有多方面的优越性，使其成为实验系统中不可缺少的组成部分。3计算机在实验系统中，对计算机的性能指标具有更高的要求，为满足处理实时性，要求计算机的CPU具有较高的处理速度；因为动态动态识别需要处理大量的图片，对内存的要求也相应较高。基于这两方面原因，本实验采用联想Y460,具有1G内存，500G硬盘空间来满足图像的采集、处理与动态识别。4动态实验平台此实验平台由传送带和控制器组成。利用控制器的各个不同的按钮，可控制传送带以不同的速度前进或者后
37、退；同时还可以控制摄像头的升降和左右移动。通过控制器的控制作用能够更好的进行动态实验。23本章小结本章从实验系统的组成进行了介绍，从结构上系统可以对杂草图像的实时采集、处理和动态识别的功能。实验系统的硬件部分包括摄像头、采集卡、计算机、实验平台、控制器组成。并详细介绍了各组成部件的型号和类型以及用途。基于机器视觉的杂草图像特征提取及识别研究83机器视觉的杂草图像的采集及图像恢复的研究31机器视觉的杂草图像的采集图31动态采集工作原理图上图为采集的工作原理图，视频图像经过多路切换器，A/D解码将数据输送到数据缓冲器。经裁剪、比例压缩及数据格式转换后，由内部RISC控制图形覆盖与数据传输，数据目标
38、位置由二次开发后的软件确定，可以是显存，也可以是计算机内存。311动态采集图像的数据格式及传输方式对于不同类型的数据图像，所采用的数据存储格式也相应不同。本课题所用的采集卡支持RGB8888、RGB888、RGB565、RGB555和256色模式。在此采用图像处理中最常用的RGB888格式，R、G、B是组成一幅图像画面的三种基本的颜色分量，数字图像是由若干个像素排列而成，每个像素实际也就是一个矩阵单元，那么每一像素都是R、G、B三种基色的组合，每一基色占用一个字节的空间，也就是说RGB888格式的一个像素要用到三个字节的空间存储。图像采集显示模式可以分为场方式和帧方式两种。场方式分为奇场和偶场
39、，奇场表示只传送奇数行的数据；同样偶场只负责传送偶数行的数据。帧方式，即奇、偶场的图像数据交叉存放，组成一幅完整的图像。同时在帧方式采集中，图像的存储方式也可有场方式，即一幅图像上半部分为偶场图像，下半部分为奇场图像，图像的数据是连续的。在本课题中采用帧方式，并设定连续帧的采集方式，这样有利于动态连续采集的操作，提高所采集图像的分辨率。312动态图像采集的软件系统动态图像采集的软件系统是在大恒卡提供的开发包基础上进行的二次开发。在MICROSOFT的32位WINDOWS操作系统中，图像采集卡应用接口库直接操作图像卡并提供了应用接口。在编制应用程序时，可以直接调用这些库函数来实现所需功能。应用接
40、口库包含文件CGVIDEOH，动态链接库CGVIDEODLL和静态链接库CGVIDEOLIB。使用VC编程时，应在程序中调用相关的包含文件（H），并将静态链接库（LIB）文件加入到工程文件中，动态库必须放在相应的工作路径或WINDOWS系统路径下。本课题的动态采集系统所用到的函数如下基于机器视觉的杂草图像特征提取及识别研究91BEGINCG300（）；/打开图像采集卡2CG300CAPTURE（）；/采集/冻结图像3CG300SEPDISPWINDOW（）；/设置图像显示窗口4CG300CAPTURETOMEM（）；/将图像采集到内存中5CG300READFROMMEM（）；/从内存中读取所采
41、集的图像6ENDCG300（）；/关闭图像采集卡图像采集卡的开始操作和初始化参数的设置在应用程序初始化中完成，结束操作在应用程序退出前执行。图像采集卡所采集的图像数据，不占用计算机的CPU的时间，支持实时处理。采集图像到屏幕和到内存的操作在同一时刻只能选择其一执行，不能同时进行。32动态模糊图像的恢复321图像恢复的基本知识图像在形成、传输和记录过程中，受到多种因素的影响，图像的质量会有所下降，表现为图像模糊、失真、有噪声等，这即是图像的退化。那么为了使退化图像能够恢复本来的面目，就要使用图像恢复这一过程来实现。图像恢复又称为图像复原，其主要目的是使模糊的图像变得更加清晰，有利于进行特征提取以
42、及动态识别的操作。在机器视觉的杂草动态识别过程中，由于运动可能会造成图像的模糊，会给特征的提取和动态识别带来影响，因此需要对图像进行恢复操作。图像复原技术是通过利用图像退化现象的某种先验知识将图像的退化过程模型化，并根据此模型采取与之相反的处理策略，而得到同原始图像尽可能接近的复原图像23。由图像复原技术的定义可知，图像复原处理主要是依靠图像退化模型来进行的，在进行处理前必须了解图像退化的原因。引起退化的原因很多，如大气湍流效应、传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动等。在本实验中主要涉及的是动态运行时摄像头与被摄目标之间产生相对位移从而导致了图像的模糊，清楚此退化原
43、因后，我们将在此建立一定的退化模型，选择出最有效的图像恢复方法。图32为图像退化的一般模型，此模型对于大多数的退化过程具有通用性。在模型中，退化过程被模型化为一个系统（或算子），原始图像在经过其退化作用后,YXH,YXF与一个加性噪声相叠加而产生出最终的退化图像。表达式如下,YXNG（31）,YXNFHG基于机器视觉的杂草图像特征提取及识别研究10图32图像退化的一般模型图像复原技术的分类方法很多，那么在给定模型的条件下，图像复原技术可以分为无约束和有约束两大类。图像复原的一般模型如图33所示。退化后的图像在与复原,YXG滤波器相卷积后得到了复原出的图像。,YXM,YXF图33图像复原的一般模
44、型（3HFGN2）逆滤波方法属于无约束复原；维纳滤波属于有约束复原。下面本实验将采用这两种复原方法进行对比试验。322匀速直线运动模糊下的点扩展函数实验进行时，摄像头与被摄目标之间存在相对运动，往往造成图像的模糊。其中匀速直线运动所造成的模糊图像的恢复问题更具有一般性和普遍意义。首先摄像头不动，而图像发生平面运动。和分别是在和方向上相应的随时间变化的运动,YXF0TX0TYXY参数，是采集时间长度，是加性噪声，实际采集到的由于运动而造成的模糊图像T,N为,YXG基于机器视觉的杂草图像特征提取及识别研究11（3,000YXNDTYTXFYXGT3）这是动态模糊图像的一个基本模型。先考虑没有噪声的
45、情况。设噪声，式由（33）可得出的傅立叶变换为,YXNDXYEGVUGVUJ2,DXYETTXFVUJT2000,改变积分顺序，可表示为（3TDXYETYTXFVUVUJT,20004）外层括号内的积分项是置换函数的傅立叶变换。利用二维傅立,00TTF叶变换的性质得到表达式（3TTVYTUXJDEVFUG020,5）（35）根据与无关得出。令，因此可表示为,VFTTHTVYTUXJ020,（3,VU6）如果图像的运动在和方向上是匀速直线运动，其速率为（）,XYYXV,/TBA则（）,代入（35）式后得到退化函数,0TYX/,TBTA（3SIN,VBUAJEUVUVH7）如果当前图像只在方向作匀
46、速直线运动，即；，当时，XTTX/00TYTT在水平方向的移动距离为，就是模糊长度。此时得出,YXFA基于机器视觉的杂草图像特征提取及识别研究12（3UAJEUATVHSIN,8）退化函数是要进行图像复原的关键的一步。了解了退化函数后，接下来就可以利用两种复原方法对由于匀速直线运动而造成的动态模糊图像进行复原操作。323逆滤波复原逆滤波复原是一种最简单的复原方式，退化系统的传递函数被颠倒过来，以产生一幅恢复后的图像24。其中、分别是、,VUG,F,VUH,N,YXG、的二维傅立叶变换，而、,YXF,H,YXNYXGFH分别表示退化图像、原始图像、退化因子和加性噪声。它的主要原理首先要了解N退化
47、函数，然后利用退化函数和退化图像的傅里叶变换来计算原始图像,VUH,VUG的傅里叶变换估计,F（39）,VU,HG公式（39）即是所说的逆滤波。此公式是在没有任何噪声的情况下成立，但实际中被观测到的图像都带有噪声，因此（39）式应该变成（310）式才成立。其中为加,VUN性噪声。（310）,VUF,VUHN由公式（310）可得到（311）,VV由（311）式可知，如果已知、就可以得到，将,UGHUN,VUF进行傅立叶反变换，就能得到，也就是我们所要的复原图像。,VUFYXF以上过程是逆滤波算法的基本处理过程。从式（311）我们可以看出，当很小,VH基于机器视觉的杂草图像特征提取及识别研究13时
48、，会变的很大，这相当于把噪声放大了很多，使得复原图像的效果很差。,/,VUHN另外，如果有零点，那么在零点处，会变得无穷大，所,VUH,/,VUHN以图像在这些点处无法正确复原。采用逆滤波复原法消除运动模糊，过程如下1求模糊图像的傅立叶变换；,G2观察目标运动的水平方向和垂直方向的移动距离A和B,确定退化传递函数；,VUH3计算复原图像的傅立叶变换；,VUF4对执行傅立叶逆变换，得到复原图像。,VUF如图34所示逆滤波对于未加入噪声时的图像能够进行复原，但必须精确设置复原点扩散函数的结果，图34（B）的复原点扩散函数与模糊原图像的点扩散函数的参数相同，因此复原效果好。如果估计运动参数时不准确，
49、复原结果会受到影响。而带有噪声的运动图片经过逆滤波复原后，复原结果明显下降，如图34（D）。基于机器视觉的杂草图像特征提取及识别研究14A没有噪声的模糊图片B逆滤波复原图片C带有噪音的模糊图片D逆滤波复原图片图34逆滤波复原对比图324维纳滤波复原1967年HELSTROM对逆滤波复原法进行了改进，提出了维纳滤波复原法，也称维纳滤波器。它是利用一个复数量与它的共轭的乘积等于复数量幅度的平方。维纳滤波的基本思想，既是求出原图像和复员图像的平均二乘误差为最小时的复员法。误差计算,YXF,YXF为（322FEE12）可由下式表示基于机器视觉的杂草图像特征提取及识别研究15（3,2VUGPVUHVUFFN13）314,2V公式（314）为（313）的变型公式其中常量即噪声和信号的,/,VUPFN功率之比。分别表示噪声和原图像的功率谱，表示成像系统传,VUPFN,H递函数的共轭复数。采用维纳滤波器的复原过程步骤如下VH1计算图像的二维离散傅立叶变换得到；,YXG,VUG2计算点扩展函数的二维离散傅立叶变换；H3估算图
