1、（2011届）毕业设计题目基于FPGA的CMOS彩色图像变换设计姓名专业电子信息工程班级学号指导教师导师职称年月日基于FPGA的CMOS彩色图像变换设计摘要本课题设计基于FPGA的CMOS彩色图像变化IP，利用FPGA处理数据量大、处理速度快，结合CMOS图像传感器MT9M001和BAYERCFA格式图像的特点，设计一种基于FPGA的图像数据转化处理IP，实现BAYER格式到RGB格式的转化的设计，研究CFA图像插值算法，实现基于FPGA的实时线性插值算法，对BAYER图像格式进行插值恢复全彩色图像，实现从黑白图像还原高清彩色图像。CMOS图像传感器MT9M001采集到的图像数据，作为CFA插
2、值图像算法输入源，通过FPGA芯片，设计缓存控制模块，缓存模块，插值模块，利用VHDL语言实现实时双线性插值算法。本课题选用的FPGA开发环境是ISEINTEGRATEDSOFTWAREENVIROMENT61D,通过MODELTECH_61D仿真工具进行仿真。关键词CMOS图像传感器，CFA插值，RGB格式，FPGAIIPDESIGNOFCMOSCOLORIMAGECHANGEONFPGAABSTRACTTHEPROJECTDESIGNISBASEDONFPGAFORCMOSCOLORIMAGECHANGEIP,USINGFPGADATAPROCESSINGCAPACITY,PROCESSI
3、NGSPEED,COMBINEDWITHCMOSIMAGESENSORMT9M001ANDBAYERCFAFORMATIMAGEFEATURES,DESIGNOFAFPGABASEDPROCESSINGOFIMAGEDATAINTOIP,BAYERFORMATTOACHIEVERGBFORMATCONVERSIONTOTHEDESIGN,RESEARCHCFAIMAGEINTERPOLATIONALGORITHM,REALTIMEFPGABASEDLINEARINTERPOLATIONALGORITHM,TOINTERPOLATEBAYERIMAGEFORMATFULLCOLORIMAGERE
4、STORATION,RESTOREDHIGHDEFINITIONBLACKANDWHITEIMAGESFROMACOLORIMAGEMT9M001CMOSIMAGESENSORIMAGEDATACOLLECTEDASACFAIMAGEINTERPOLATIONALGORITHMINPUTSOURCE,THROUGHTHECHIP,FPGA,DESIGNOFTHECACHECONTROLMODULE,CACHEMODULE,INTERPOLATIONMODULE,THEUSEOFVHDLLANGUAGEFORREALTIMEBILINEARINTERPOLATIONALGORITHMTHETOP
5、ICCHOSENFPGADEVELOPMENTENVIRONMENTISISEINTEGRATEDSOFTWAREENVIROMENT61D,THROUGHMODELTECH_61DSIMULATIONTOOLFORSIMULATIONKEYWORDSCMOSIMAGESENSO,CFAINTERPOLATION,RGBFORMAT,FPGAII目录摘要IIIABSTRACTIV1绪论111CMOS图像传感器及其发展112CFA插值算法1121双线性插值算法含义213课题研究的主要内容214FPGA设计流程与开发环境及简介3141FPGA简介3142FPGA设计流程3143开发环境与仿真工具4
6、15VHDL硬件描述语言616论文完成工作62方案设计与总体设计721插值算法方案设计722方案评价723总体设计8231CMOS图像传感器8232FPGA芯片83实时双线性插值算法的实现（VHDL语言）931CFA插值模块方案设计932各个模块10321缓存控制模块10322缓存模块11323插值模块124软硬件调式1641编程平台和调试软件1642调试过程16421彩条行显示16422BLOCKRAM读写的说明17结论18参考文献19致谢20III附录21附录1缓存控制模块程序21附图2缓存控制模块仿真图22附录3缓存模块程序23附图4帧控制时序仿真图24附录5带进位计数器程序24附图6计
7、数器仿真图26毕业设计01绪论11CMOS图像传感器及其发展CMOS是一种采用CMOSCOMPLEMENTARYMETALOXIDESEMICONDUCTOR,互补金属氧化物半导体工艺制造的图像传感器。相比于CCD器件,具有集成度高、功耗低、体积小、工艺简单、开发周期短等优点,近年来在工业、监控、航空航天等众多领域显示出强劲的发展趋势【1】。利用FPGA处理数据量大、处理速度快,结合CMOS图像传感器MT9M001和BAYERCFA格式图像的特点,设计一种基于FPGA的图像数据转换处理系统,提出用硬件实现BAYER格式到RGB格式转换的设计方案,研究CFA图像插值算法,实现基于FPGA的实时线
8、性插值算法,对BAYER图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。整个设计模块能够满足高帧率和高清晰的实时图像处理,占用系统资源很少,用较少的时间完成了图像数据的转换,从而提高了效率【2】。随着CMOS工艺的不断发展，它的系统集成度、动态范围、感光度、功耗等性能大幅提高，使得CMOS传感器越来越多的进入不同领域。CMOS传感器的集成度高、体积小、重量轻，它最大的优势是具有高度系统整合的条件，因为采用数字模拟信号混合设计，从理论上讲，图像传感器所需的所有功能，如垂直位移、水平位移暂存器、传感器阵列驱动与控制系统（CDS）、模数转换器（ADC）接口电路等完全可以集成在一起，实
9、现单芯片成像，避免使用外部芯片和设备，极大地减小了器件的体积和重量。CMOSAPS使用单一工作电压，功耗低，仅相当于CCD的1/101/100，还可以与其他电路兼容，具有功耗低、兼容性好的特点。并且CMOS传感器使用与制造半导体器件90的相同基本技术和工艺，且成品率高，制造成本低，目前用于摄像的50万像素的CMOS传感器不到10美元【2】。12CFA插值算法类似于数码相机这种数字图像设备，考虑到成本和包装，一般输出的是贝尔（BAYER）模板CFA（COLORFILTERARRAY）图像，需要通过CFA插值算法来获得彩色图像。随着半导体技术的发展，FPGA（FIELDPROGRAMMINGGAT
10、EARRAY）作为可编程芯片，其集成度已达千万门，FPGA的可编程特性使其在SOC（SYSTEMONACHIP）中发挥越来越重要的作用，这样就产生了用FPGA直接实现算法，而不需要再用价格昂贵的DSP（DIGITALSIGNALPROCESSING）。基于FPGA的CMOS彩色图像变换设计1近几年间，由于数码产品市场的迅速发展，图像处理领域的研究与开发越来越受到各界关注，多种CFA插值算法随之出现，包括最邻近像素插值算法，双线性插值算法，中值插值算法等。本课题主要研究适合FPGA实现的实时双线性插值算法。121双线性插值算法含义双线性插值算法是非自适应算法的一种，输出的图像使用邻近像素中相同颜
11、色成份做线性平均计算来补偿每个像素丢失的颜色。如图11中，像素仅有蓝色成份。因此丢失的绿色部分可通过求其上、下、左、右像素的绿色成份的平均值得到。同样，丢失的红色可通过对相邻四个对角上的像素的红色成份求平均值。这种算法可以被视频所接受，因此人类的眼睛不容易在动态的两帧视频中查觉到模糊。为了得到彩色图像，需要采用插值算法对每个像素所缺少的颜色进行补差，这样的算法就叫做CFA图像插值算法【7】。图11由贝尔模板构成的CFA13课题研究的主要内容本课题设计基于FPGA的CMOS彩色图像变化IP，利用FPGA处理数据量大、处理速度快，结合CMOS图像传感器MT9M001和BAYERCFA格式图像的特点
12、，设计一种基于FPGA的图像数据转化处理IP，实现BAYER格式到RGB格式的转化的设计，研究CFA图像插值算法，实现基于FPGA的实时线性插值算法，对BAYER图像格式进行插值恢复全彩色图像，实现从黑白图像还原高清彩色图像。CMOS图像传感器采集到的都是经过滤波镜片后的BAYER格式马赛克图像,为了恢复丢失掉的色彩信息,必须经过插值计算。随着大规模/超大规模集成电路以及大规模可编程逻辑器件CPLD/FPGA的高速发展和广泛应用，实时图像处理也得到了非常迅速的发展。为了提高图像处理的速度，满足系统实时要求，可以用硬件来实现对图像的处理，FPGA芯片便是目标硬件的理想选择之一，同毕业设计2时FP
13、GA的应用也为提高图像处速度提供了新的思路和解决方法。14FPGA设计流程与开发环境及简介141FPGA简介FPGA（FIELDPROGRAMMABLEGATEARRAY），即现场可编程门阵列，是在PAL、GAL、CPLD等可编程器件的基础上进一步发展而得到的产物。其作为专用集成电路（ASIC）领域中的一种半定制电路而出现，不但解决了定制电路的不足，而且又克服了原有可编程器件门电路数有限的缺点。目前以硬件描述语言（VERILOG或VHDL）所完成的电路设计，是可以经过简单的综合与布局，并快速地烧录至FPGA上进行测试，是现代IC设计验证的技术主流。这些可编辑元件被用来实现一些基本的逻辑门电路（
14、比如AND、OR、XOR、NOT）或者更复杂一些的组合功能（比如解码器或数学方程式）。在大多数的FPGA里面，这些可编辑的元件里也包含记忆元件（例如触发器（FLIPFLOP）或者其他更加完整的记忆块【8】。142FPGA设计流程FPGA的流程可分为设计输入、功能仿真、设计综合、设计实现、时序仿真、下载配置六个步骤。一、设计输入原理图和HDL（HARDWAREDESCRIPTIONLANGUAGE）是常用的两种设计输入方法。原理图输入的特点是在顶层设计、数据通路逻辑、手工最优化电路等方面，图形化强、单元节俭、功能明确。HDL语言描述在状态机、控制逻辑、总线功能方面较强，其特点是描述的电路能在特定
15、综合器作用下以具体硬件单元较好地实现因此，我们常用的方式是以HDL语言为主，原理图为辅，进行混合设计从而发挥出二者各自特色。注意的是在进行设计时，设计者应当严格遵循自顶向下TOPDOWN和自底向上的模块化设计方法。自顶向下是指在设计之初对系统进行充分的分析，首先明确技术条件指标，并将这些指标提炼为算法，转化为结构描述，接着将系统划分为容易实现的子系统，划分之后再进行时资源分配和序调度，逐渐深入，直至问题的最终解决。自底向上则是指在系统划分的基础上分模块进行设计。分开完成各个的模块设计，进而构成整个FPGA【10】。二、功能仿真仿真是指用设计软件包对完成的设计进行测试，模拟出实际物理环境下的基于
16、FPGA的CMOS彩色图像变换设计3工作情况。功能仿真也称为前仿真，是仅对逻辑功能进行测试模拟，以了解其实现的功能能否满足原设计的要求，仿真过程未加入时序信息，不涉及具体器件的硬件特性。三、设计综合综合是针对给定的电路实现功能和实现此电路的约束条件如速度、功耗、成本及电路类型等，通过计算机的优化处理，获得一个能满足上述要求的最优或者接近最优的电路设计方案。设计综合包括分析、综合和优化三个步骤（以HDL描述为例，分析是采用标准的HDL语法规则对HDL源文件进行分析并纠正语法错误）。综合是以选定的FPGA结构和器件为目标，对HDL和FPGA网表文件进行逻辑综合优化则是根据用户的设计约束对速度和面积
17、进行逻辑优化，产生一个比较优化的FPGA网表文件，以提供FPGA布局和布线工具的使用。四、设计实现实现是利用FPGA厂商的实现工具，把综合后的方案逻辑映射到目标器件结构的资源中，决定逻辑的最佳布局，如选择逻辑与布线通道进行连线，就会产生相应文件如配置文件与相关报告。通常可分为五个步骤转换TRANSLATE、映射MAP、布局与布线PLACEANDROUTE、时序提取TIMESIM、配置CONFIGURE。五、时序仿真时序仿真也称为后仿真，是在布局布线后，提取有关的器件延迟、连线延时等时序参数，并在此基础上进行仿真，它是接近真实器件运行的仿真。六、下载配置下载配置也叫芯片配置，是将设计实现生成的位
18、流下载到FPGA芯片中。因FPGA大多支持IEEE的JTAGJOINTTESTACTIONGROUP标准，所以使用芯片上的JTAG口是常用的下载方式。将位流文件下载到FPGA中进行的物理测试即是电路验证。【15】143开发环境与仿真工具本课题选用的FPGA开发环境是ISEINTEGRATEDSOFTWAREENVIROMENT61D,仿真工具是MODELTECH_61D。ISE是XILINX公司的FPGA开发工具，它的版本不断更新，最新的版本功能更强大。ISE61I中不提供仿真工具，采用MENTORGRAPHIC公司的MODELSIM仿真工具。ISE61D的功能非常强大，并且提供了非常友好且直
19、观的用户界面。打开ISE后，首先打开工程导航器PROJECTNAVIGATOR界面，在此界面中可以访问各种设计输入、综合及实现工具。工程导航器由四个窗口组成，如图12所示，左上角是SOURCESNPROJECT窗口，列出了工程中所有的文件其下是毕业设计4PROCESSESFORSOURCE窗口，显示相应的运行过程最下面是TRANSCRIPT窗口，列出了运行、查询、报错及报警信息右边是多文件窗口，可以显示文本文件的内容以及HDL测试激励波形【12】。MENTORGRAPHIC公司的MODELSIM是业界较好的仿真工具，其仿真功能强大，图形化界面友好，而且具有结构、信号、波形、进程、数据流等窗口。
20、在仿真过程中，可以执行性能分析与代码覆盖分析，使设计者可以更方便的找到设计瓶颈。MODELTECH_61D可以直接被ISE61D调用，从而进行BEHAVIORALMODEL,POSTTRANSLATEVHDLMODEL,POSTMAPVHDLMODEL和POSTPLACE2输入的主时钟652MHZ，输入的写时钟12MHZ3支持图像分辨率是1024X768、帧频低于20HZ,8BIT像素的BAYER模板数据输入4输出图像格式为XGA60HZ，每像素16BITRGB5655具有CFA图像实时重构和频率提升功能。基于FPGA的CMOS彩色图像变换设计93实时双线性插值算法的实现（VHDL语言）31C
21、FA插值模块方案设计图31CFA插值模块设计方案CFA插值模块由缓存控制、缓存、插值模块组成。具体方案图见图31。该设计流程是外部上电后，当信号WRITE为高电平时，在缓存控制模块控制下，输入的数据先进入缓存模块，然后再进入插值运算模块。在插值模块中，数据经过双线性插值算法的处理，生成所需的图像数据，输出时，由这24BIT数据中高8位的高5位、中间8位的高6位、低8位的高5位组成新的16位数据。最后得到的16位数据就是RGB565图像数据，将此数据输出。CFA插值模块的主要功能是实时接收CMOS图像传感器采集的图像数据，经过插值运算，生成每个像素为24BIT、分辨率为1024X768、帧频为7
22、5HZ的彩色图像数据。最后，再将得到的数据转换成图32CFA插值模块信号描述毕业设计10RGB565的彩色图像。此模块的信号描述如图32。32各个模块321缓存控制模块缓存控制模块的主要功能是产生读、写使能信号和读、写缓存的地址，并将这些控制信息传送给缓存模块。此模块的信号描述如图33。而在缓存控制模块内部，包含了写控制器和读控制器。其中写控制器是一个12位的计数器。它的高两位对4个存储体进行选择，低10位用来产生写操作的地址，根据输入的写使能信号对缓存模块进行写操作。其中读控制器是一个10位的计数器，用来产生对4个存储体进行读操作的地址两个计数器在信号RESET或信号VSYNC为低电平时复位
23、。复位设定的初始值是4095。这样是为了保证循环计数器产生的地址与输入的每行数据同步，每行的第1个有效数据对应每个存储体的零地址。考虑到实时处理，在每一帧图像进来时先写满两个存储体，每个存储体的长度等于每行有效像素的个数，也就是存储了两行有效像素，在写到第3行的第3个有效像素时，进行存储体的读操作。在同一时刻，写操作只对缓存中的一个存储体进行操作，而读操作对4个存储体同时进行。图33缓存控制模块信号描述基于FPGA的CMOS彩色图像变换设计11缓存控制模块的设计流程是上电后，当信号WRITE为高电平时，写控制器工作，生成写地址，并且WENA1为高电平当每写完1024个数据，WENA2,WENA
24、3,WENA4,WENAL依次为高电平进行循环。当一帧图像传送结束，读、写控制器中的计数器停止计数，并在VSYNC信号为低电平时复位。当下一帧图像到来时，新的循环开始。322缓存模块缓存模块的主要功能是接受缓存控制模块的读、写地址和控制信息实时接受和传送输入的图像数据。此模块的信号描述如图35。缓存模块存放数据的顺序为最先的一帧图像的第1行有效数据存放在1号存储体，依次存放下去，第5行数据再存放到1号存储体，如此循环。存完一帧后，写控制器复位，下一帧来时往复上述操作进行。此模块结构如图36。图35缓存模块信号描述图34缓存控制模块结构图毕业设计12缓存模块内部包含4个相同的存储体（1024X8
25、BIT），每个存储体是由FPGA内部的两个BLOCKRAM组成，且支持双口操作。一个端口定义为只写，另一个端口定义为只读。缓存控制模块中的读、写使能信号控制着每个存储体的端口操作。在缓存模块内部，对这4个存储体进行编号，依次为1，2,3,4号存储体。在这里1、3号存储体称为奇行，2、4号存储体称为偶行。323插值模块插值模块的主要功能是接收缓存模块传来的数据，并在内部对这些数据进行分组，用插值运算块对不同组数据分别进行运算，将每个像素丢失的两种色彩补插出来。此模块的信号描述如图37。插值模块内部由插值控制模块和插值运算模块组成。插值控制模块先对输入的数据线组合，得到24位宽的数据线，并对其编组
26、。如图38所示，方框内的数字代表各个存储体。以1组为例，数据线线序为存储体4的数据线为最高位，存储体2的数据线为最低位。在这里1,3组称为奇行组，2,4组称为偶行组。图37插值模块信号描述图36缓存模块结构图基于FPGA的CMOS彩色图像变换设计13SRAM4SRAM1SRAM2SRAM1SRAM2SRAM3SRAM2SRAM3SRAM4SRAM3SRAM4SRAM11组2组3组4组图38数据线组合示意图插值控制模块内部包含一个12位的计数器，其最高位控制进入插值模块的数据是1,2组还是3,4组。奇、偶行组的数据分别进入各自的3级寄存器组,如图38所示。图中，Y1,Z1,Y2,Z2,Y3,Z3
27、分别代表一级寄存器，把从Y1输出的24位数据的高8位记作YLH，中间8位记作YLM，低8位记作YLL，其余的输出按上述规则分别记作Y2H,Y2M,Y21,Y3H,Y3M,Y31,ZLH,ZLM,Z11,Z2H,Z2M,Z21,Z3H,Z3M,Z31。第11位第1位输出数据00奇行奇列运算块01奇行偶列运算块10偶行奇列运算块11偶行偶列运算块表31数据输出选择表图38数据线组合示意图毕业设计14Y1Y2Y3奇行组24位数据线奇行组寄存器组Z1Z2Z3偶行组24位数据线偶行组寄存器组图310寄存器组示意图计数器的第1,11位用来选择数据输出，见表31插值运算模块分成奇行奇列、奇行偶列、偶行奇列、
28、偶行偶列4个运算块。插值处理以图11所示的BAYER模板为标准，奇行奇列运算块补插绿色和红色，奇行偶列运算块补插蓝色和红色。各运算块输出数据按高8位红色，中间8位绿色，低8位蓝色进行排列。公式运算见表32。名称输出运算公式高8位（Y1HY1LY3HY3L）/4中间8位Y1MY3MY2HY2L/4奇行奇列运算快低8位Y2M高8位Y2HY2L/2中间8位Y2M奇行偶列运算快低8位Y1MY3M/2高8位Z1MZ3M/2中间8位Z2M偶行奇列运算快低8位Z2HZ2L/2高8位Z2M中间8位Z1MZ3MZ2HZ2L/4偶行偶列运算快低8位Z1HZ1LZ3HZ3L/4表32公式运算表插值模块的设计流程是上
29、电后，模块内部将从缓存模块接收的数据分成奇行组和偶行组，奇行组的数据进入奇行奇列运算块和奇行偶列运算块，偶行组的数据进入偶行奇列运算块和偶行偶列运算块，再由插值控制模块控制，各运算块处的数据处理完后，经选择器选择输出。基于FPGA的CMOS彩色图像变换设计15奇行组24位数据线A11Y1Y2Y3Z1Z2Z3偶行组24位数据线计数器A11控制是1，2组还是3，4组进入插值模块。计算模块9个八位的数据通过运算公式进行处理。数据选择通过A11，A0选择输出图311插值运算模块结构图由于插值计算需要用到周围数行的数据，因此运算并不是从有数据输入就立即开始的。以本系统为例，采用改进的双线性插值，有4条输
30、入缓冲RAMSRAM1,SRAM2,RAM3，SRAM4。RAM在简单双端口模式下工作。源数据在外部时钟CLK控制下，将第1行，第2行数据，第3行数据先后写入人SRAML,SRAM2，SRAM3,当第4行数据半数已经写入到SRAM4时，内部四个寄存器组在内部时钟CLK控制下，开始同时从SRAML,SRAM2,SRAM3,SRAM4取数据。当读取完成，READ信号置为高，运算模从寄存器组读取数据，开始运算。整个过程中，输入端数据仍在CLK控制下连续写入到RAM中去。源数据的写入和读取在两个不同时钟下同时进行，为了保证读出数据的有效性，读取速率即不能太快也不能太慢。每个数据应该在被读取前被写入，在
31、被重新写入新数据前被读出。由于内部处理时钟频率远高于数据输入时钟频率，我们在源数据写入两行半的时候开始从RAM读取数据，读取累计一整行后暂停，等待写入数据再过的时候读取数据。毕业设计164软硬件调式41编程平台和调试软件本课题选用的FPGA开发环境是ISEINTEGRATEDSOFTWAREENVIROMENT61D,采用XILINX公司的SPARTANII系列的FPGA（SPARTANII系列的FPGA内核电压为25V，系统性能可达200MHZ）。由于ISE61D不自带仿真软件，所以需要通过MODELTECH_65B仿真工具进行仿真。42调试过程硬件采用XILINX公司的SPARTANII系
32、列器件XC2S100芯片，及NEC的104寸NL6448AC3318工业级液晶屏。图41部分硬件实物基于FPGA的CMOS彩色图像变换设计17图42液晶彩条显示421彩条行显示首先通过FPGA编程对液晶进行测试和显示彩色条形，来确定液晶的好坏。通过FPGA控制液晶显示简单的彩条只需编写正确的行场扫描时序，同时保证在不同的行扫描段输出不同的RGB数据，即可在液晶屏上显示彩条。在此，我先简单的在液晶上显示不同颜色的屏幕来验证所写时序的正误。然后，再通过修改程序来实现屏幕上显示不同颜色的10列长条。422BLOCKRAM读写的说明缓存模块内部包含4个相同的存储体（1024X8BIT），每个存储体是由
33、FPGA内部的两个BLOCKRAM组成，且支持双口操作。一个端口定义为只写，另一个端口定义为只读。在XILINX公司的SPARTANII系列的FPGA芯片中，对存储器BLOCKRAM固化了，它只能当作RAM来使用，若设计中没有用到其的BLOCKRAM，那么这些RAM资源就浪费掉了。在XC2S150FPGA芯片中，有12块BLOCKRAM，每块容量为4K位，它可以实现单口或双口RAM等功能，可以配置成25616、5128、10244等多种形式。图42是RAM的结构图，写地址产生器和读地址产生器的时序关系如图图42基于双口RAM的移位寄存器实现结构图毕业设计1843所示，在系统初始的复位态，写地址
34、产生器的地址指针指向0X000H，而读地址的地址指针指向0X001H。在每个时钟的上升沿，写地址和读地址都加1，当写地址或读地址为1023时，写地址产生器或读地址产生器复位，地址指针指向0X000H。这种时序关系使系统的读地址指针总是写地址指针加1，当对0X000H单元进行写数据时，0X001单元的内容将被读出。图43写地址和读地址产生器的时序图基于FPGA的CMOS彩色图像变换设计19结论本课题以CMOS图像传感器采集图像数据，采用现在可编程门阵列器件（FPGA）产生系统所需要的时序，将采集到的数据图像作为CFA插值算法的输入源，利用VHDL语言实现实时双线性插值算法。具体内容如下1通过对大
35、量的有关彩色图像恢复算法的学术论文和资料的学习与分析，对彩色恢复算法的原来、特点及硬件可行性有所掌握，为以后在相关领域开展工作打下基础。2在FPGA内实现彩色图像恢复算法的时序设计，针对算法中单路径过长导致处理速度下降的情况，提供了8路并行处理的方法，使得实时实现复杂恢复算法成为可能。3实测时，整个逻辑设计使用VHDL硬件描述语言编写代码，采用TOPDOWN模块化设计方法，使其具有很好的可移植性和可修改性。实验证明，该系统工作稳定，能实现设计要求的彩色恢复算法，基本达到了设计目的。由于时间及条件问题，本人未能完全完成导师所要求的任务，但基本达到要求，能够理解本课题设计的原理，熟悉设计的整个过程
36、，知道设计最后能实现的结果。毕业设计20参考文献1胡磊，CCD图像的颜色插值算法研究及其FPGA实现通信与信息系统，200972候伯亭，顾新VHDL硬件描述语言与数电路设计修订版西安西安电子科技大学出版社，199913MICROCHIPTECHNOLOGYINC“PIC24H系列数据手册”DS70175D_CN20074王诚，薛小刚，钟信潮FPGA/CPLD设计工具XILINXISE使用详解M人民邮电出版社，2005（1）5彭俊，基于FPGA的彩色恢复系统的研究中国科学院研究生院，光学工程，20076来金梅，FPGA现状及其发展趋势J20058，22933427田书成，基于CMOS图像传感器的
37、宽动态、低照度一体化摄像机的设计太原理工大学，通信与信息系统，20108XILINXINCDIRECTDIGITALSYNTHESIZERDDSWWWSUPPORTXILINXCOM9DANMORELLIMODULATINGDIRECTDIGITALSYNTHESIZERINAQUICKLOGICFPGAJ2006,11（23）122410苏光大微机图象处理系统北京清华大学出版社，2000711EDA先锋工作室ALTERAFPGA/CPLD设计M北京人民邮电出版社，2005712韩伟，谢憬，毛志刚基于FPGA的多功能LCD控制器的设计与实现J信息技术2008年第6期13张洪润,张亚凡FPGA/
38、CPLD应用设计200例M北京航空航天大学出版社200914朱耀东，经亚枝，张焕春基FPGA的一种高速图形帧存设计J电子技术应用200315成英，FPGA产品市场现状与展望J电子设计应用2004年12期16刘方，基于BAYER彩色滤波阵列插值算法的研究。电子科技大学。200617梁飞，基于CMOS图像传感器的成像技术与处理方法研究沈阳航空工业学院，信号与信息处理，201018杨华，基于FPGA的BAYER到RGB图像格式转化设计现代电子技术，2010,02期基于FPGA的CMOS彩色图像变换设计21附录附录1缓存控制模块程序LIBRARYIEEEUSEIEEESTD_LOGIC_1164ALL
39、USEIEEESTD_LOGIC_ARITHALLUSEIEEESTD_LOGIC_UNSIGNEDALLUNCOMMENTTHEFOLLOWINGLINESTOUSETHEDECLARATIONSTHATAREPROVIDEDFORINSTANTIATINGXILINXPRIMITIVECOMPONENTSLIBRARYUNISIMUSEUNISIMVCOMPONENTSALLENTITYTEXT3ISPORTCLKINSTD_LOGICRESETINSTD_LOGICVSYNCINSTD_LOGICWRITEINSTD_LOGICRADDLOUTSTD_LOGIC_VECTOR9DOWNT
40、O0WADDLOUTSTD_LOGIC_VECTOR9DOWNTO0RENBOUTSTD_LOGICWENA1OUTSTD_LOGICWENA2OUTSTD_LOGICWENA3OUTSTD_LOGICWENA4OUTSTD_LOGICENDTEXT3ARCHITECTUREBEHAVIORALOFTEXT3ISSIGNALWRITE_COUNTSTD_LOGIC_VECTOR11DOWNTO0SIGNALREAD_COUNTSTD_LOGIC_VECTOR9DOWNTO0SIGNALR_SSTD_LOGICWRITEBEGINR_SWENA1WENA2WENA3WENA4WENA10CMWE
41、NA1WENA2WENA3WENA4WENA10ENDCASEENDPROCESSENDARC附图6计数器仿真图基于FPGA的CMOS彩色图像变换设计27毕业设计（论文）文献综述题目基于FPGA的CMOS彩色图像变化设计专业电子信息工程1前言部分（阐明课题的研究背景和意义）图像信息是人类获取的最重要的信息之一，图像的采集和处理在现代多生产发展领域中占有重要的地位。在日常生活中，常用于数码相机、可视电话、多媒体IP电话和电话会议等产品在工业生产中，图像采集可用于材料分析、锅炉火焰监测等在生物医学领域，图像采集可以用于B超、CT、病理分析等在金融领域，图像采集可以用于票证处理，柜员机自动检测等在航
42、空航天领域，可以用于各种运动目标的自动制导、运动物体的经纬度测定以及夜间侦察等【1】。对任意一个图像采集系统而言，周围环境的图像信息都是来自于图像传感器。图像传感器获得的原始图像信息的完整性和正确性，对于整个采集系统是相当重要的，直接决定了最终的成像效果。从原始图像到最终形成的真彩色图像的变换过程，称为色彩恢复，又叫颜色插值。颜色差值在图像压缩、解码和数字图像采集系统彩色实时显示方面有着非常重要的应用，在过去二十年中一直是研究热点，同时也产生了大量有价值的插值算法。目前，采用硬件来实现各种图像处理算法，成为了最新的研究热点。因此，充分利用硬件系统并行运算的速度优势，积极开展基于FPGA的颜色插
43、值算法研究，并将其应用到图像采集系统当中，具有重要的理论和现实意义【3】。随着CMOS工艺的不断发展，它的系统集成度、动态范围、感光度、功耗等性能大幅提高，使得CMOS传感器越来越多的进入不同领域。CMOS传感器的集成度高、体积小、重量轻，它最大的优势是具有高度系统整合的条件，因为采用数字模拟信号混合设计，从理论上讲，图像传感器所需的所有功能，如垂直位移、水平位移暂存器、传感器阵列驱动与控制系统（CDS）、模数转换器（ADC）接口电路等完全可以集成在一起，实现单芯片成像，避免使用外部芯片和设备，极大地减小了器件的体积和重量。CMOSAPS使用单一工作电压，功耗低，仅相当于CCD的1/101/1
44、00，还可以与其他电路兼容，具有功耗低、兼容性好的特点。并且CMOS传感器使用与制造半导体器件90的相同基本技术和工艺，且成品率高，制造成本低，目前用于摄像的50万像素的CMOS传感器不到10美元【2】。毕业设计28如今，追求高速度成为了图像处理的一个重要发展趋势。由于DSP处理器没有摆脱传统CPU的串行指令执行方式，其图像处理的速度问题一直是一个很难突破的设计瓶颈。随着大规模集成电路ASIC以及现场可编程门阵列FPGA技术的发展，它们在图像领域的应用越来越广泛。这就使图像采集和处理设计朝着速度快、容量大、体积小、重量轻的方向发展，也为图像采集和处理系统的设计与实现提供了新的方法和思路【2】。
45、本课题设计基于FPGA的CMOS彩色图像变化IP，利用FPGA处理数据量大、处理速度快，结合CMOS图像传感器MT9M001和BAYERCFA格式图像的特点，设计一种基于FPGA的图像数据转化处理IP，实现BAYER格式到RGB格式的转化的设计，研究CFA图像插值算法，实现基于FPGA的实时线性插值算法，对BAYER图像格式进行插值恢复全彩色图像，实现从黑白图像还原高清彩色图像。2主题部分（阐明课题的国内外发展现状和发展方向，以及对这些问题的评述）FPGA是一种高密度的可编程逻辑器件。自从XILINX公司1985年推出第一片FPGA以来，FPGA的集成密度和性能提高很快，其集成密度最高达500
46、万/片。系统性能可达百兆赫兹。FPGA是在PAL,GAL等可编程逻辑器件的基础上发展起来的大规模可编程逻辑器件。与以往的PAL,GAL等相比较，FPGA的规模较大，集成度高，适合于时序、组合等逻辑电路应用场合，可以替代几十甚至上百片通用LC芯片。FPGA具有可编程性和实现方案容易改动的特点，器件内部的硬件连接关系的描述可以存储在ROM,PROM,EPROM和磁盘中，因而在器件及其外围电路保持不动的情况下，换一片EPROM芯片，就能实现一种新的功能【5】。USB、串口、并口是PC机和外设进行通讯的常用接口，但对于数据量大的图像来说，若利用串行RS232协议进行数据采集，速度不能达到图像数据采集所
47、需的要求；而用USB进行数据采集，虽能满足所需速度，但要求外设必须支持USB协议，而USB协议与常用工程软件的接口还不普及，给使用带来困难。有些用户为了利用标准并行口SPP进行数据采集，但SPP协议的150KB/S传输率对于图像数据采集，同样显得太低【4】。FPGA用于图像处理有比较大的优势。实时图像处理对数据处理能力和吞吐量有很高的要求。以一幅分辨率为640X480的10位彩色图像为例，其数据量达到了384K字节。各种图像处理算法因为计算过程复杂，也需要处理器有足够强大的运算能力。因此，要想保证图像处理的实时性，系统的快速处理能力和大数据量的吞吐能力是其先决条件。基于FPGA的CMOS彩色图
48、像变换设计29目前在图像处理应用的核心芯片主要为DSP或者FPGA，传统的DSP处理器是一个高性能的数字处理器，内部包括一个高性能的中央运算单元，其运行频率可以达到千兆赫兹，但是当进行较复杂的运算时，可能循环几百次才可以完成，从而在一定程度上影响了它的运行速度。而具有较高传输速率的FPGA可以采集数据量大的图像数据，对CMOS图像传感器数据采集，它最高速率可以达到2MB/S【7】。近几年来，随着大规模可编程逻辑器件的发展和嵌入式技术的不断进步，低成本FPGA不断推陈出新。半导体工艺的进步不仅带来FPGA成本的降低，还使其性能显著提升，同时不断集成一些新的硬件资源，比如内嵌DSP块、内嵌RAM块
49、、锁相环PLL、高速外部存储器接口DDR/DDR2、高速LUDS接口等。在ALTERA公司90NM的CYCLONEIIFPGA内部，还可以集成一种软处理器NIOSII及其外设，它是目前FPGA中应用最为广泛的软处理器系统。作为一个平台，FPGA显然己经非常适合于高性能低成本的视频和图像应用。硬件实验平台是为验证时序设计的正确性和在时序驱动下的工作性能而构建的，其组成如图CMOS图像传感器PC机图1电路整体框架FPGA的彩色恢复系统的研究，已知的绿色像素的强度进行估算，对红和蓝色通道亦是如此。其中最典型、应用最多的是双线性法。这一类算法容易实现，在平滑区域内也可以得到比较满意的效果，但在高频区域，尤其是在边界区域毕业设计30却失真明显。第二类则是利用多通道的相关性进行插值，这一类自适应的算法常常结合了对图像细节的分析判断以及颜色通道之间的相关性，插值效果要明显优于前一类，大部分的算法都属于这一类。例如基于边界的算法，加权系数法，交互式插值法，最优化恢复也有部分算法利用了信号变换如小波变换，傅立叶变换等，这些算法通常能得到比较满意的效果，尤其是清晰的边界与细节特征，但往往算法复杂，无法应用于数码相机信号转换系统【8】。CMOS图像传感器采集到的都是经过滤波镜片后的BAYER格式马赛克图像,
