1、1手势识别图像匹配技术的应用与研究摘要：手势识别的前提条件是场景中手势的正确定位，通过皮肤颜色这一特点可以实现手势的定位。运用和比较了基于 YCbCr 色彩模型和BP 神经网络两种肤色检测的方法。然后，通过帧间差分动态检测的方法，检测出静态的有用手势，将运动的手势判定为无用手势。最后，通过模板匹配找出被识别图像匹配度最大的模板，并认定它的手势为被识别图像的手势。在模板匹配中，为了消除手势的抖动，减小抖动对识别的影响，引入了自适应，从而使匹配更加精确。 Abstract： Gesture recognition is a prerequisite for the correct position
2、ing of the scene gestures. In this paper， we use the characteristics of skin color to achieve the positioning of gestures. Two color detection methods are used and compared based on YCbCr color model and BP neural network. Then， we judge static gestures as the useful gestures while the movement gest
3、ures as useless gestures by the method of the dynamic detection of frame difference. Finally， we find the template which gets the largest matching score to match the image to be identified as the best template， and judge its gesture as the images gesture. In template matching， a kind of adaptive is
4、introduced in order to eliminate hitter gestures 2and reduce the impact of jitter on the identification， thus make more accurate matching. 关键词：YCbCr 色彩模型；BP 神经网络；帧间差分；模板匹配 Key words： YCbCr color model；BP neural network；Frame difference；Template matching 中图分类号： TP391.4 文献标识码：A 文章编号：1006-4311（2016）19-
5、0185-03 0 引言 在虚拟现实中，手是用户模型中十分重要的动作与感知关系模型，人的行为特征，是人机交互的重要研究内容。在虚拟环境中用手实现抓取、释放物体，以及飞行、漫游、导航等三维交互任务和技术，以往是利用人的触摸行为和计算机的反应来获得基于人机交互的手段，一般采用硬设备如空间球、6D 操纵杆、6D 鼠标等来实现。但也可用人们的自然技能，通过计算机非接触式地（如数据手套和摄像机等）观察用户的动作，实现人机交互，这是一种通过手势识别来了解用户意图的、有前途的三维交互新技术。因为在虚拟现实环境中抓握环境中的物体，应与用户手在生活中的动作一致，这一切的研究都是基于运动学、动力学以及反运动学；这
6、一切还与使用手掌、拇指和每个手指的位置在抓握物体时运用自然、可信的几何和物理特征有关；同时还要使用户能感知手抓握的作用力。显然这是一项十分艰巨的研究工作，但它在人机交互困难的领域（如虚拟现实环境、遥控机器人和电信会议、哑语手势等）使用户不需要训练就可用人类自然技能，充分发挥手在交互过程中的自然性、3灵活性和适应性。本文的手势识别属于机器视觉方面，它实现了计算机对人的三种手势的识别。基于 visual studio 软件和 OpenCV 视觉库，用C#语言编写，通过摄像机捕捉图像，利用肤色检测定位手势，并且运用两种方法来对比使用。OpenCV 视觉库为我们的研究提供了很好的平台，大大减少了算法的
7、复杂程度。最后通过模板匹配的方法使计算机识别出三种手势，并为此构建了有实际意义的算法，并通过实验检测具有可行性。 1 肤色提取 1.1 YCbCr 模型的肤色提取 YCbCr 空间是一种从 RGB 空间非线性转换而来的颜色空间，其已被广泛应用于视频压缩标准中。式（1）用来从范围为0，1的 RGB 信号输出YCbCr 信号。输出 YCbCr 信号的范围是 Y16，25，Cb、Cr16，235。使用式（2）可以将 YCbCr 信号恢复成范围为0，1的 RGB 信号。 YCbCr=16128128+ 65.481 128.553 34.966-37.797 -74.203 112 112 -93.7
8、86 -18.214RGB（1） RGB=0.00456621 0 0.006258930.00456621 -0.00153632 -0.003188110.00456621 0.00791071 0YCbCr?16128128（2） 肤色的差异在于色度而不是亮度，可以近似认为肤色差异与 Y 分量无关。本文选取具有代表性的不同肤色（没有考虑黑色人种）在不同光照下的人脸和手势图像作为样本，再用手工采集人脸皮肤作为肤色样本，并且制作了一个软件系统分析所得肤色 RGB 和 YCbCr 值的直方图，得知肤色只分布在色度平面上一个很小的区域，利用该直方图可以为肤色构4造高斯密度函数或高斯混合模型。仔细
9、选择阈值 CbCb1，Cb2和CrCr1，Cr2，利用判定规则：一个像素（i，j） ，如果同时满足Cb1?Cb（i，j）?Cb2 和 Cr1 1.2 BP 神经网络的肤色提取 BP 神经网络的隐层一般采用 Sigmoid 转换函数，为提高训练速度和灵敏性以及有效避 Sigmoid 函数的饱和区，一般要求输入数据的值在 0-1之间。因此，要对输入数据进行预处理。一般要求对不同变量分别进行预处理，也可以对类似性质的变量进行统一的预处理。如果输出层节点也采用 Sigmoid 转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不做预处理。所以在肤色检测中将肤色像素点 RGB 的值进行归一化处
10、理。对于肤色的检测，构造了具有 3 层节点的人工神经网络模型，将皮肤的 RGB 的实测值作为学习样本。每个样本均含有 2 个输入因子，分别是皮肤像素归一化的 g 和 b 值。归一化方法同前面介绍的 RGB转换成 YCbCr 时候的方法。 本文肤色检测神经网络模型的各层节点数分别为：输入层 2 个，隐层 5 个，输出层 1 个（如图 2 所示） 。通过对 RGB 模型归一化，得到 bg二维空间，将 bg 作为输入，判断网络输出，接近 1 时为肤色，接近 0 时为非肤色。 图 3 是肤色原图，图 4 是基于 YCbCr 色彩模型检测到的肤色结果，图 5 基于是 BP 神经网络检测到的肤色对比所示，
11、可以看出，两种方法检测出的肤色图像准确度相差不大。两种模型各有自己的优点和缺点，YCbCr 色彩模型程序实现比较简单，运行速度也比较快，但是不够灵活，需要提前做许多数据工作，采集许多颜色数据。而 BP 算法的神经网络比5YCbCr 色彩模型检测更为准确，不需要做大量的数据采集，运用灵活，不但可以识别肤色，而且可以识别任意颜色。但是 BP 算法的程序实现较为复杂，并且运行速度比 YCbCr 色彩模型慢许多。所以，这两种方法各有千秋，可以根据自己的需要来选择。 2 动态监测 对于手势的运动检测，将摄像头捕捉到的相邻之间的帧做差分运算。如，第一帧和第二帧之间做差分运算如图 6，并且将所得图像的各像素
12、点进行累加运算，设定阈值 T=30（这个阈值是根据测试设定的） 。超过阈值便认为第一帧到第二帧是运动的；反之，便认为是静止的。接着，同样的方法检测第二帧和第三帧之间是否运动。将每两帧之间差分所得到的图像与肤色识别所得到的图像进行与运算，便得到手势动态图像，如图7。 3 模板匹配 在手势的匹配中，如图 8 所示，经过肤色检测以后的三个手势各自有五个模板，图中仅为各自五个模板中的一个。由于人们做手势不可能是一成不变的角度，需要输入几个不同角度的手势模板，以此来提高系统的泛化能力，所以才有五个模板。 模板匹配中，如果两个模板的匹配度都很高，而人做的手势不一定绝对静止，就有可能出现一些抖动，出现误判的
13、情况。为了使匹配更为准确，消除抖动的干扰，本文提出了一种自适应的算法。将匹配度最大的那个模板根据环境（光线强度等）对手势的影响进行修正，使之匹配度越来越大。在不同的环境下，修正也不同。 6捕捉到的手势图像经过模板匹配后还需要进行预处理，使之与模板图像的大小相同。其方法是：以捕捉到的手势二值图像的白色区域中心坐标为中心，切割出和模板大小相同的图像。这是为了满足下面的自适应处理的条件要求。 设 tem1 为检测出的匹配度最大的那个模板像素，cap 为经过预处理的摄像头捕捉到的手势二值图像，则： tem2=cap（1-a）+tem1a （3） 然后令 tem1=tem2；其中 a 为学习率，经各种考
14、察，本文设置a=0.01。tem2 成为新的模板，实际上相当于最大匹配的模板图像与实际捕捉到的手势图像的合运算。如图 9 所示为原模板图像，图 10 为经过自适应处理的模板图像。 4 结果分析 本文的手势的识别属于图像识别的一部分，它的实现需要两大部分。第一是肤色的检测，利用颜色判别，这为手势的位置确定减少了很大的复杂度。肤色检测本文应用两种方法：基于 YCbCr 色彩模型和 BP 神经网络，分析两种方法各自的优缺点，并将两种方法分成模块编写在程序里，随时可以调用和改变方法。第二是匹配的实现，也就是完成三种手势的识别。在匹配之前，首先要进行手势的动态检测，只有静止的手势才被认定是有用手势。之后
15、，将预存的三种手势的不同模板与被识别的图像进行一一匹配，选出匹配度最大的模板，并认定被识别手势即为这个模板的手势。在模板匹配中，要应用自适应处理，以便消除手势的抖动，从而使匹配更为精确。在研究中提出的研究思路和解决方法对实际应用7有参考意义。 但是，该系统仍然没有达到非常精确的状态。如果时间允许的话，该系统还可以有所改进，使得识别更为精确。比如，对于肤色检测的YCbCr 方法，Y 亮度分量并不是完全独立，它对颜色仍然是有影响的。如果可以提出一种亮度自适应的方法，那么肤色检测的准确度将会大大提高。神经网络虽然精确，但是速度远远不及 YCbCr 模型，这一点目前我们是无法改变的。对于模板匹配，这种
16、方法并不是非常好的方法，计算量非常大，如果使用基于特征的匹配（比如手势的曲线特征）将大大提高手势识别的精确度。 参考文献： 1范立南，韩晓微，张广渊.图像处理与模式识别M.北京：科学出版，2007：4-5. 2Milan Sonka Vaclav Hlavac Roger Boyle.图像处理、分析与机器视觉M.北京：人民邮电出版社，2009：5-6. 3刘新永，蔡凤丽，王志杨.基于 MATLAB 的人脸检测定位算法研究J.通化师范学院学报，2015（12）. 4丁海波，薛质，李生红.基于 HSI 空间的肤色检测方法J.计算机应用，2005（9）：6-7. 5闫晓强.应变片的特征提取和边缘检测
17、算法研究D.宁波大学，2011. 6Cary Bradski E Adrian Kaebler.Learning OpenCVM.南京：东南大学出版社，2009：9-14. 87徐战武，朱淼良.肤色检测最优空间J.计算机辅助设计与图形学学报，2006（3）：15-16. 8周丽莎.基于模板匹配的视觉定位技术研究与应用D.大连理工大学，2012. 9陈忠林，刘智明，周激流.复杂背景图像中彩色人脸的检测J.成都理工大学学报，2006（4）：15-16. 10谭伟恒，申铉京，杨金峰.基于人体定位和动态肤色阈值的肤色检测算法J.仪器仪表学报，2007（4）：16-17. 11张明吉，王伟强，郑清芳，高文.静态图像中的自适应阈值肤色检测算法J.计算机研究与发展，2009（3）：16-17.
