1、I摘 要伴随着移动科技的快速发展，移动设备上的身份识别技术正变得越来越重要。在本文中，我们提出了一种新型的生物识别认证方法，该方法针对非限定性的光照环境、较少约束的摆放姿态和低质量的样本图像采集都具有良好的鲁棒性。这样的鲁棒性对于通常装备消费级摄像头的移动设备上的应用来说具有极其重要的意义。在本文中，我们通过以下两个方面来实现这样的鲁棒性：首先我们采用的是内指横纹生物特征来进行识别，这种新兴的生物特征具有线条结构简单、容易提取且不易受到周围皮肤上其他生物特征干扰的特点，这样的特点使得对它的特征提取非常有潜力实现光照变化和姿态变化的鲁棒性。然后我们又提出了一种新型的特征提取以及描述的方法，该方法
2、基于图谱分析理论 1和标准化分割方法 23，可以更好地突出内指横纹主结构的特征，从而克服光照变化带来的影响。与此同时，通过我们提出的新型上下文结构特征描述算子，该方法实现了对形变恰当的容忍。据我们所知，我们的工作是最早研究低分辨率手部图像生物特征针对光照不变性的研究，当前已有的工作通常是基于光照环境被限定的假设，因此往往缺乏相应的鲁棒性。实验表明，我们的方法相比现有流行的方法在匹配准确率上表现更佳，在非限定性的光照环境下尤为明显。关键词: 内指横纹； 生物识别； 光照变化鲁棒性； 形变容忍性IIAbstractWith the rapid development of mobile techn
3、ology, identity recognition on portable devices has become more and more important. In this paper, we propose a novel biometric recognition method which is robust enough to operate under uncontrolled illumination, less constrained posture, and low image quality. Such robustness is crucial for its ap
4、plication on portable devices equipped with consumer-level cameras. We tackle this problem in two aspects. Firstly, we propose to identify the inner knuckle print (IKP) biometric feature, as its simple base geometry, as well as its simple structure in the feature. At the same time, it is hardly infl
5、uenced by other biometric feature around itself. This character makes it more promising to reduce the influence of illumination and postures. Secondly, we propose a novel feature map based on spectrum analysis1 and N-cut theory23, which highlights the main structure of IKP to overcome the influence
6、of variant illumination. Meanwhile we propose a context-based structure descriptor which could endure more deformations. To the best of our knowledge, our work is the first attempt to study the illumination invariance for the appearance-based low resolution hand biometrics. Previous work made assump
7、tion on the illumination conditions and hence less robust. Experimental results demonstrate that our method outperforms the state-of-the-art methods in terms of recognition accuracy, especially under uncontrolled lighting conditions.Keyword：IKP；Biometric recognition；Variant illumination robustness；D
8、eformation robustnessIII目录摘 要 .IAbstract .II第一章 绪论.11.1 研究背景及意义.11.2 生物特征国内外研究历史与现状.31.3 内指横纹及类似生物特征的相关技术.51.3.1 基于掌纹的生物特征研究.51.3.2 基于外指横纹的生物特征研究.71.3.3 基于内指横纹的生物特征研究.81.4 本文的主要工作及章节结构.101.4.1 本文的主要工作.101.4.2 本文的章节结构.11第二章 内指横纹样本感兴趣区域提取.132.1 引言.132.2 基于高斯混合模型的皮肤区域提取.132.2.1 均值漂移聚类.132.2.2 高斯混合模型.15
9、2.2.3 皮肤模型.162.3 基于几何特性的手指定位.172.4 基于雷顿投影的内指横纹感兴趣区域定位.172.5 本章小结.18第三章 具有光照鲁棒性的内指横纹生物特征提取.193.1 引言.193.2 当前流行的脊结构特征提取方法对比.193.2.1 局部二值模式编码.203.2.2 Gabor 滤波器和竞争编码 .203.2.3 相位一致性特征.22IV3.3 基于标准化分割和谱图理论的特征提取.233.3.1 标准化分割.233.3.2 图谱分析.253.4 基于经验模型的优化.263.5 本章小结.28第四章 具有形变容忍性的内指横纹生物特征相似度衡量.294.1 引言.294.
10、2 特征微调.294.3 上下文结构特征描述.304.4 特征匹配.314.5 本章小结.32第五章 实验.345.1 引言.345.2 内指横纹样本数据库和评测方法.345.3 与现有的几种方法比较.365.3.1 在数据库 DB-1 上的实验 .375.3.2 在数据库 DB-2 上的实验 .385.3.3 性能分析.405.4 阈值选取.415.5 鲁棒性检验.435.5.1 环境光照变化鲁棒性检验.435.5.2 姿态与视点变化鲁棒性检验.455.6 本章小结.47总结与展望.48参考文献.51攻读硕士学位期间取得的研究成果.55第一章 绪论1第一章 绪论1.1 研究背景及意义随着智能
11、手机、平板电脑等移动设备的兴起与普及，我们在这些移动设备上处理业务也越来越频繁，对移动应用安全性的要求也越来越高。传统的加密方法通常以各种密码解锁或者生物特征解锁为主，然而密码并不具有唯一性，而且容易被遗忘、破解或窃取，而且复杂的密码输入的过程也使人很不愉快，导致用户体验不佳，因此采用密码来处理机密事物并不是一种十分理想的选择；基于生物特征的加密技术则很大程度上克服了密码加密的弱点，成为近年来业界研究的重点方向。生物特征往往具有唯一性和非易失性，不需要记忆，但相比密码技术，生物特征并不能直接用来加密，需要先对生物特征进行复杂的提取工作，而且往往需要特殊的采集设备，认证精度通常也会受到采集环境的
12、影响，因而该领域的研究与应用还不成熟，尚处于发展阶段，但市场需求迫切，研究空间广阔，意义重大。目前已经成熟的生物识别技术几乎都依赖于特殊采集设备，使得采集数据在各种光照、姿态、背景和视点等环境因素下保持高度一致性。这些采集设备通常体积较大，不利于装置在移动设备上工作，或者价格昂贵，不利于推广，因此往往仅能用于专业领域，难以向民用领域普及。而一般移动设备上配置的采集设备，例如摄像头、麦克风、触摸屏、键盘、红外和蓝牙等设备所能采集到的信息，如图像、声音、笔迹等特征或行为，或者难以提取分离，或者识别精度不高，或者易被模仿或攻击，目前都难以作为可靠的生物特征进行身份认证。在上述移动设备便于采集的信息中
13、，图像信息包含最多的生物特征，也比较利于提取，同时计算机图像处理、生物模式识别技术发展时间已经有数十年，有较为深厚的技术积累 ，比较容易作为基于移动设备的生物特征识别技术的突破方向。当前，影响基于图像技术的生物特征识别的效果的因素主要来自于三个方面：图像的采集效果、生物特征的提取效果和特征之间的匹配效果。而选择易于采集和提取的生物特征是成功的先决条件。目前国际上已经提出的人体生物特征识别技术种类繁多，表 1-1 列出了常见的生物识别技术和他们的比较：华南理工大学硕士学位论文2表 1-1 各种人体生物特征的比较生物特征 采集设备 识别精度 易接受性 受欺骗性 普遍性DNA 专业设备 高 低 低
14、高虹膜 专业设备 高 低 低 高视网膜 专业设备 高 低 低 高指纹 专业设备 高 中 中 中掌纹 专业设备 高 中 中 中外指横纹 专业设备 高 中 中 中内指横纹 专业设备 高 中 中 中手静脉血管 专业设备 中 中 低 中手形 专业设备 中 中 中 中面热辐射 专业设备 中 高 低 高体味 专业设备 低 中 低 高耳廓 普通摄像头 中 高 中 中人脸 普通摄像头 低 高 高 高步态 普通摄像头 低 高 中 中声音 麦克风 低 高 高 高签名 触摸屏 低 高 高 高击键打字 键盘 低 中 中 中表 1-1 的数据来自文献 456，从中可以看到，具有高度独立性，且精度高的生物特征，如 DNA
15、、虹膜和视网膜等，通常需要复杂的采集设备，有的特征采集时间还比较久，检验成本高，不利于大规模推广；有的生物特征，如体味、步态等，独立性较差，容易受到欺骗，安全性较低，以目前的技术手段还不能用于高精度的生物识别；当前民用领域研究的热点是那些具有较高识别精度，同时易于提取的生物特征，如指纹、掌纹、内指横纹和外指横纹等等。其中指纹技术已经研究了几十年，现在已经广泛用于犯罪现场取证，高级身份识别等场合，这些应用通常采用了扫描式采集设备或者物理化学设备进行指纹提取，精度很高但价格昂贵；民用领域指纹技术也已经开始第一章 绪论3推广，苹果公司已经率先在其手机上提供接触式指纹识别系统，该系统具有识别速度快，精
16、度较高的特点，深受用户喜爱，但也由于成本原因难以普及。与指纹技术类似，掌纹技术在近 20 年来也有了长足的发展。掌纹具有特征区域面积大，提供信息量大的优势，同时也具有与指纹类似的缺点，即与皮肤颜色相比对比度小，提取时通常需要借助接触式设备，难以直接利用摄像头等非接触式设备进行采集。内外指横纹生物特征比较类似，具有比指纹和掌纹更高的对比度，因而更适合直接利用普通摄像头进行采集。当前对外指横纹的研究较多，很多方法都借鉴了掌纹识别的一些技术，然而由于外指横纹以褶皱的形式覆盖在手指外关节部位，非常容易受到手指弯曲导致的形变干扰，与此同时，由于手指是近似圆柱体，同时受视点位置的影响，从上方直接拍摄的外指
17、横纹样本会有一部分被遮挡，影响特征提取的效果。而内指横纹具有更多优势，它均匀分布在手指内侧的关节，没有褶皱，手指微微弯曲后形变较小，同时特征线条比较简单，对比度高，易于提取。因此，采用内指横纹生物特征进行移动身份认证具有较为广阔的发展前景。然而目前主要存在的技术难点在于移动设备的采集环境是不确定的，而移动设备的摄像头良莠不齐导致采集图像质量不稳定，采集后数据处理性能也难以预料。而最主要的两个问题是环境光照条件的变化和拍摄时视点变化与手部形变，系统能否对这两个问题具有较强的鲁棒性将直接决定生物识别的准确性。因此本文工作的研究重点就在这两个方向上。1.2 生物特征国内外研究历史与现状伴随着计算机技
18、术的不断发展和进步，自动生物识别技术逐渐发展起来，有大约二三十年的历史。然而生物模式识别的概念却从古至今发展了数千年，在古代就已经开始利用按手印、签字画押等方法作为凭证，近代也有用婴儿脚印等方法来验明身份，这些依靠人来主观判断和验证的生物模式识别方法误差很大。伴随着工业革命与社会生产力的释放，人口激增，商业行为大幅增加，原有的根据个人主观判断和经验主义的身份验证方法已经无法满足需求。1858 年印度率先采用手掌印来区分雇员，这是有记录以来世界上第一次大规模采集手部生物特征进行身份认证。华南理工大学硕士学位论文41896 年英国出现了世界上第一个指纹分类检索系统，随后又建立了英国指纹档案系统。1
19、903 年指纹识别系统在纽约州的监狱中开始使用。1965 年开始有学者发表论文研究人脸识别，同时在 20 世纪 60 年代开始出现半自动人脸识别系统，然而这个系统并不完善，需要手动标注人脸的主要部位，如眼睛、耳朵、鼻子和嘴等特征位置，然后利用这些特征之间的距离作为特征进行匹配。1974 年第一个基于手形识别的商用门禁系统出现。1976 年出现了第一个语音识别系统。之后在 20 世纪 80 年代开始语音识别和处理技术开始被广泛研究与推广。1977 年首次出现了动态签字压力检测系统，开辟了数字化签名的发展方向。1986 年 Leonard Flom 和 Aran Safir 率先进行了虹膜识别的可
20、行性研究， “虹膜可被用于身份识别” 被授予了美国国家专利。1994 年 John Daugman 开发了世界上第一个获得专利的虹膜识别算法，并为以后的虹膜识别技术奠定了基础。1994 年，第一个支持掌纹识别的自动指纹识别系统建立。近年来，指横纹的生物识别技术开始发展，其中外指横纹研究开始较早，大量借鉴了掌纹识别的技术，并结合指横纹独有的特点，已经在某些场合开始商用。其中香港理工大学的张大鹏教授的团队在这个领域做了非常多的工作，他们从传统的掌纹技术开始进行探索，之后扩展到外指横纹技术，研发了多种算法，取得了丰硕的成果。而内指横纹研究工作目前非常少，在当前国际重要期刊和会议上鲜有相关论文发表。虽
21、然内外指横纹具有非常多相似的特点，但并不能直接套用相同算法，相对而言内指横纹的提取和匹配比外指横纹更简单，具有很高的研究空间和价值。当前国内外绝大多数生物特征识别技术都需要特殊采集设备来进行特征提取，这样做的优点是特征提取准确度很高，当需要数据处理的时候可以专门为之开发相应硬件，针对算法实现硬件加速使得处理速度更快；缺点是通用性较差，成本高，可能需要专业技术人员操作，不利于推广和普及。近年来随着智能手机、平板电脑等移动设备快速发展，人手一台甚至数台移动设备已经成为现实，而数字化革命促使无纸办公、移动互联、云计算等概念快速生根发芽，也极大增加了数据安全与身份认证的需求。第一章 绪论51.3 内指
22、横纹及类似生物特征的相关技术目前，国内外针对内指横纹生物特征的研究工作尚处于起步阶段，然而由于内指横纹和掌纹、外指横纹等生物特征都属于脊结构特征，因此相关领域的工作也可以被用来做参考对比。图 1-1 对比了这三种生物特征。图 1-1 掌纹、内指横纹和外指横纹三种脊结构生物特征对比1.3.1 基于掌纹的生物特征研究掌纹是一种研究较早的生物特征，如图 1-1（a）所示，掌纹具有特征面积大，线条多，层次丰富的特点，非常适合用来做生物特征分析和认证。掌纹图像中拥有许多独特的特征可以用来区分样本之间的差异，其中最常用的特征包括主线条（中国人常说的智慧线、生命线和感情线） 、褶皱线（wrinkles ）
23、、脊线（ridges ） 、细节点（minutiae points） 、奇异点（ singular points）和纹理等 7。这些特征大小不一，需要在不同的分辨率图像中提取，例如细节点、奇异点等很小的特征需要很高的扫描分辨率（通常需要大于 400dpi） 8，这些特征信息非常丰富，可以达到很高的匹配识别精度。而另外一些特征，例如主线条和褶皱线等（称为脊结构特征） ，往往比较明显，完全可以在更低的分辨率（如 100dpi）采集环境下获得 7。目前民用的移动设备显然不具有高分辨率扫描组件，并不能有效提取细节点、奇异点等特征，实际上，目前单反相机的分辨率通常是 300dpi，装置在移动设备上的摄像
24、头虽然也可以达到这个分辨率，但是在感光元件尺寸、噪声抑制、快门速度和图像质量上与单反相机相距甚远，因而实际有效分辨率应该小于 150dpi，因而基于脊结构特征进行识别和匹配更为有效，同时计算消耗也更小，速度更快，效率更高。华南理工大学硕士学位论文6目前基于掌纹的匹配的工作较多。由于脊结构所含信息较少，常常和指横纹一起提取来进行匹配。Sun 等 9提出了序数编码（Ordinal Code）的方法为掌纹进行方向编码，这种方法利用高斯核分别对某一方向和与它垂直的方向进行滤波，将两次滤波结果的能量值相减用来表现该区域这一方向的响应，通过比较多个方向的滤波结果来获得主方向进行编码。Slobodan 和
25、Ivan10利用主成分分析（ PCA）的方法提取特征向量，Morales 等 11利用尺度不变特征变换匹配算法（ SIFT）和正交直线序数特征匹配算法（OLOF ）来寻找待匹配的特征点。 Methani 等 12通过计算单应矩阵（Homography Matrix）来校准待匹配图像的对应位置，这种方法对手部姿态具有较好的不变性，可以解决平移、旋转的问题。Goh 等 13利用 Sobel 算子提取四个方向的纹理信息来获得特征向量，然而 Sobel 算子只是简单提取了方向信息，得到的特征图丢失了较多信息。Zhang 等 14151617提出了一系列基于 Gabor 滤波和竞争编码（Competit
26、ive Code）的方法来获得特征向量，取得了不错的效果： 14首先提出了利用 Gabor 滤波的实部和虚部信息对掌纹图像进行编码和匹配， 16提出了竞争编码方案，为之后很多基于此方法的编码算法奠定了基础， 15提出了鲁棒线方向编码 (RLOC)方式，利用了改进的有限雷顿变换(MFRAT)统计方向信息，此方法对光照变化有较强的鲁棒性, 17提出了多尺度竞争编码掌纹特征描述方法，该方法利用多尺度下稀疏编码和卷积的方法改善了编码准确度。总体而言，上述方法的研究对象都是掌纹脊结构，因此它们的研究方法与内指横纹的研究方法具有相似的应用环境，很大程度上可以通用，然而由于上述方法通常采用非接触式采集设备（
27、如普通照相机等） ，获得较低分辨率的样本，这种情况下点特征难以被提取，因此不适用于较高安全要求的情况。竞争编码的方法跟序数编码非常相似，实验结果表明他们的效果也非常接近，也跟序数编码存在同样的问题。近年来利用高分辨率扫描设备或接触式设备提取掌纹进行匹配的技术受到了较多重视。Dai 和Zhou 等 18提出利用掌纹多种特征(脊线、特征点和褶皱线等)相结合的方法来进行匹配，其核心思想是利用方向场来表征掌纹脊特征，再结合特征点（掌纹细纹线上的某些断点，可以被识别出来）位置和主线条特征来进行匹配， 19在 18基础上增加了形变和位移矫正的工作，提高了算法鲁棒性，然而由于掌纹的线条较多，且具有各个方向的多样性，所以比较适合利用方向场作为特征进行匹配，而对于内指横纹的线条，方向比较单一（多数都是垂直的） ，且线条数量比较少，所以包含方向场的信息量较少，且很
