基于低成本FPGA的高清低码流H.264编码器.docx

1、基于低成本 FPGA的高清低码流 H.264摄像机 SoC参考设计 时间:2013 年 07月 19日 关键词:FPGA SoC 摄像机 一概述 目前高清 H.264摄像机的核心 SoC基本上都是 ASIC，而 FPGA作为近年来发展迅速的 可编程器件，在高清 H.264摄像机的 SoC领域如何能有一席之地？这是我们的设计需要实 现的目标。 二设计特点 与 ASIC相比，FPGA 的特点是功能强，设计灵活，随时升级，工作成果可以积累，NRE 低，但是芯片价格比 ASIC贵，所以必须找到一个可以达到价格平衡的应用领域，我们根据 这几年智能手机和 3G网络发展迅猛的情况，参考电信运营商第一代全球眼

2、的技术指标，直 接把设计指标定位在码流小于 512kbps和分辨率为 1280x720x25fps，目前在市面上可以实 现这些指标的摄像机几乎没有，这是 FPGA的好机会。 512kbps的码流限制主要是考虑到 ADSL和家庭光端机的上传能力，而且也能利用 3G 上传视频，减少了智能手机的码流下载压力；1280x720 是智能手机的主流分辨率，自然需 要相应的视频源，如果显示 D1或 CIF，效果肯定不理想。 我们的目标是做一个可以直接用于生产的参考设计，除了设计指标先进，我们还要考 虑价格和实用，所以我们选择了低成本的 CYCLONE IV系列，另外也实现了一般网络摄像机 的全部功能，如 H

3、.264压缩、720p25 帧三码流、双向语音、重要区域和隐私区域的定义、 智能分析、移动检测、声音侦测、POE 供电等； 三实现高清低码流 H.264摄像机 SoC的关键 一般来说，128072025fps 的码流在 2Mbps左右，如何降低码流？除了使用 mail profile with cabac的 H.264编码器外，还需要对视频图像进行分析，而且要在帧率、分 辨率、视频质量等方面权衡折中，在 512kbps码流下获得最好的视频效果，为了达到这样 的目的，需要复杂灵活的控制，FPGA 可以满足这样的需求。 四高清低码流 H.264摄像机的结构 高清低码流 H.264摄像机的结构简图如

4、下： 1.FPGA的选用 在高清低码流 H.264摄像机的结构中，除了图像传感器、存储器、电源和模拟接口外， 所有的功能如图像处理、H.264 编码、协议处理、参数管理、媒体流发送等都由 FPGA实现， FPGA就是高清低码流 H.264摄像机的 SoC；目前世界上 FPGA的生产商只有几个，可选择的 产品也不多，要用 FPGA实现高清低码流 H.264摄像机的 SoC，选择一款合适的 FPGA非常 重要，FPGA 的选择主要考虑三方面的因素：速度、成本和结构；每个 FPGA生产商都有多 个 FPGA系列，每个系列的速度、性能和价格都不同，要使高清低码流 H.264摄像机 SoC的 成本尽可能

5、低，应该选择成本最低的系列，像我们选择的 FPGA是 Altera公司的 CYCLONE IV系列，型号是 EP4CE115F23C8，CYCLONE IV 是低成本系列，在同样是低成本系列的 FPGA 中，CYCLONE IV 的速度是最快的； FPGA 的结构对图像处理也很重要，尤其是存储器和乘 法器的数量，H.264 算法是以宏块为单位，在处理过程中必然会涉及到宏块的输入输出和 缓存，1 个宏块的数据为 384字节（256 字节亮度数据和 128字节色度数据），如果考虑到 输入输出和处理的并行，必须设置双份，即 768字节，用 CYCLONE IV的 1个 M9K存储块正 好，从上面的分

6、析可以看出适合图像处理的 FPGA对内部存储器的要求是存储块容量小（如 1KB）、存储块数量多，另外，对乘法器的要求也是数量多；在我们选择 FPGA的时候， CYCLONE IV是在所有低成本 FPGA中有最大的存储器逻辑比和乘法器逻辑比，很适合做图 像处理。 2图像传感器的选择 为了满足 1280x720x25fps的要求，只需要选择百万像素的传感器就可以了，我们最终 选择了 300万像素的 AR0331，还可以实现 1920x1088x11fps，在实现 1280x720x25fps时还 有电子 PTZ功能，AR0331 还有宽动态功能，便于摄像机以后扩充宽动态功能。 3外部存储器 外部存

7、储器有 2片 LP DDR SDRAM和 1片串行 FLASH，串行 FLASH用于存储 FPGA的配 置数据和 NIOS的数据程序，1 片 LP DDR SDRAM用于存储图像数据和编码结果，1 片 LP DDR SDRAM用于 NIOSII运行 ucLinux。 4FPGA 实现的功能 FPGA作为高清 H.264摄像机的 SoC实现的功能如下： 图像处理 边缘检测 RAW插值计算 简单的 RAW插值计算会造成边缘模糊，增加边缘检测判断可以避免造成边缘模糊； 3D 滤波 从图像传感器出来的图像包含有噪声，去噪同时在帧间和帧内进行； 2D 锐化 由于镜头等因素影响，从图像传感器出来的图像需要

8、锐化才能清晰； GAMMA 校正 从图像传感器出来的图像灰度不正确，需要做 GAMMA校正，获得正确的灰度； 自动曝光控制 根据亮度条件调节适合的曝光参数； OSD 显示 可以叠加 2048位图像，图像以宏块为单位，结构可以有 128x1、64x2、32x4、16x8、8x16、4x32、2x64、1x128 等选择，在屏幕的位置可以设置； 区域管理 可以定义隐私区域、运动检测区域等； 编码处理 编码格式 用 H.264 main profile with cabac算法编码，可以提高压缩率，减少码流；由于完 全实现 H.264的全部算法需要大量的资源，需要很大容量的 FPGA，这是不现实的，

9、如我们 用 1个测试序列做过测试，2 个参考帧比 1个参考帧的压缩率提高了 5%，但是 2个参考帧 的处理要比 1个参考帧的处理需要多远不止 5%的资源，对于一些很复杂而压缩率提高不多 的方法我们暂时不采用，降低码流是 1个系统性的工作，需要从多个环节考虑；另外我们 必须保证算法的准确，以免在解码端产生误差； 编码能力 最大为 1280x720x25fps，如果需要同时编码多路码流，需要考虑 3路码流的每秒宏块 编码数量之和不能大于 90000，如 1280x720x23fps+320x180x23fps，1136x640x24fps+568x320x24fps+284x160x24fps 等

10、； 图像质量控制 编码量化参数调整范围：2441，值小码流大，图像质量好，值大码流小，图像质量差； 码流控制 码流控制方式为 CBR，控制平均码流； 网络处理 网络速度峰值 目前网络接口使用全双工 100M以太网，由于图像的编码数据量是不均匀的，I 帧的编 码数据量大，P 帧的编码数据量小，所以数据量呈脉冲式分布，在传输 I帧的编码数据时 尽量采用大的网络速度有利于减少延迟，但是应该考虑到 ADSL的承受能力，可以设置 170M的网络速度峰值； 码流均值 码流均值是 1秒种传送的数据量，可以设置 16Kbps8128Kbps的码流均值；CBR 的码 流控制方式就是根据码流均值来进行的； 码流缓

11、冲 由于编码数据量呈脉冲式分布，当编码的数据产生速度高于网络速度峰值时，编码数 据就需要缓存在 LP DDR SDRAM，否则就会丢失； 协议 TCP、RTP、RTSP、DHCP、NTP、HTTP、FTP、SMTP 和 DDNS； 管理 NIOS II NIOS II是内置 CPU，运行 ucLinux，负责媒体流数据的缓冲和打包发送； 参数（通过 WEB提供） 接收参数设置和更新，保留 2份参数，1 份是出厂时的参数，1 份是实际使用的参数， 在正常加电时实际使用的参数起作用，按复位键时出厂时的参数起作用； 升级（通过 WEB提供） FLASH里面保存两个配置数据，1 个是出厂时的配置数据，1 个是升级后的配置数据， 当按复位键和升级配置数据加载失败时按出厂时的配置数据进行加载，否则按升级配置数 据加载； 报警接口（通过 WEB提供） 提供报警信号的上传功能； 音频 支持双向 64kbits ALaw和 16kbits/32kbitsADPCM的收发，声音侦测。 五结束语 用 FPGA作为 SoC的高清低码流 H.264摄像机已经完成设计，达到设计目标，视频质量 清晰流畅，完全满足智能手机作为监控终端的要求。