1、基于表面肌电信号动作识别与交互,基于表面肌电信号的人体动作识别,基于SEMG的手势动作识别技术,手势识别与交互系统,人机交互及人体动作识别,人机交互及人体动作识别,智能人机界面：计算机应当对人类的自然能力(包括触觉、语言、笔形、姿势和情感等)进行感知。,人与计算机交互(Human-Computer Interaction,HCI),人机交互,人机交互及人体动作识别,指计算机自动检测、分析和理解人体各类运动和行为，判断人的意图并提供相应服务的过程.,应用：,人体动作识别,人机交互及人体动作识别,感知人体动作的两种主流方式：,1、计算机视觉：采用视觉设备和图像处理技术持续捕获人体动作，具有跟踪全身
2、或局部肢体运动，并获取表情或手势等动作在摄像机视图二维平面投影的形状信息的功能。缺点：(1)环境影响;(2)难察觉精细的人体动作;(3)动作分割难。,2、运动测量：用户身体上安放各类传感器设备测量用户执行动作时产生的物理量。缺点：传感器单一，获取的信息有限，可识别的人体动作种类不多。,基于表面肌电信号的人体动作识别,基于表面肌电信号的人体动作识别,肌电信号(Eleotromyography,EMG）伴随肌肉活动产生的一种重要的生物电信号。生理学依据：肢体的特定关节运动由对应的肌肉群控制。肌电控制系统：通过对在相应肌群上采集到的EMG信号对不同人体动作进行识别，用识别结果控制外围设备。,概念,基
3、于表面肌电信号的人体动作识别,表面肌电信号产生原理,MUAPT,表面肌电信号：幅度范围为0-1.5mA，带宽为0.5-2000Hz，是许多运动单位(Motor Unit,MU)的电发放的总和，波形呈干扰形，很难从中分辨单一单位动作的波形。,表面肌电信号（Surface EMG,SEMG）运动单位动作电位(Motor Unit Action Potential，MUAP)运动单位的动作电位序列(Motor Unit Action Potential Train，MUAPT),基于表面肌电信号的人体动作识别,针电极肌电信号(Needle EMG；NEMG)以针形电极为引导电极，将其插入到肌肉内部，
4、直接在活动肌纤维附近检测电位信息。特点：干扰小，定位性好，易识别；具有良好的空间分辨率和较高的信噪比；但是一种有创伤的检测方法；不宜同时测量多路信。,表面电极肌电信号（Surface EMG,SEMG）从人体皮肤表面通过电极记录下来的神经肌肉活动时发放的生物电信号。特点：较大的检测表面和较低的空间分辨率；记录的信号为一定范围内肌纤维电活动的总和；测量的无损伤性；干扰大。,肌电信息采集方式分两种：,测量优势：1感知动作的直接性2检测动作的敏感性3传感器低成本高便携性,主要问题：1可识别的手势动作的种类较少2缺乏结合生理学知识的系统研究3可重复性和通用性,基于表面肌电信号的人体动作识别,信号采集：
5、SEMG信号的采集手段已经从模拟测量方式转为数字记录。预处理：测量电极多采用空间电极配置方式；通过多个电极适当形式的互相组合采集SEMG信号，以改善检测SEMG的信噪比。目前应用较多的空间电极配置方式为双极性(Bipolar)和拉普拉斯(Laplaoe)电极。,基于表面肌电信号的人体动作识别,表面肌电信号的采集与预处理,肌肉兴奋产生神经脉冲，电极处产生连续发放形成的MUAPT,采用表面电极肌电信号采集方法,基于SEMG的手势动作识别技术,信号预处理,整流，平滑，滤波，振幅标准化,基于表面肌电信号的人体动作识别,信号采集,信号产生,信号识别,基于SEMG的手势动作识别技术,多通道表面肌电信号手势
6、动作识别及交互控制示意图：,由放置在人手臂皮肤表面预定位置上的SEMG传感器同步获取多通道SEMG信号数据，经由活动段检测方法标定每一个动作执行时对应信号流的起止点，再通过特征提取后进行分类识别，动作的识别结果可以转化为控制指令，作为人机交互的输入。手势动作SEMG模式识别算法由活动段检测、特征提取和分类识别三个主要环节组成。,基于SEMG的手势动作识别技术,活动段检测,连续采集的多通道肌电信号数据流中提取出对应于动作执行时的信号,称为活动段(Active Segments)。活动段检测的任务：确定手势动作SEMG信号的起点和终点位置，检测前提条件：对手势动作SEMG信号活动段检测的准确判别。
7、已有的SEMG活动段提取算法有短时傅立叶方法、自组织人工神经网络方法、移动平均方法等。确定每一个手势动作样本所对应的多通道SEMG信号活动段,用于以下环节的特征提取和模式分类。,基于SEMG的手势动作识别技术,特征提取,特征提取环节的主要目标：将动作SEMG信号用一组能表征其类型固有特性的数据来描述，作为该类别的特征，并尽可能做到不同手势动作类别提取得到的特征差异明显,便于分类。,基于SEMG的手势动作识别技术,分类器设计,分类器设计是模式识别任务实现的核心环节，目的：建立用于识别信号模式的分类模型，以准确判定待识别的样本特征所归属的类别。,在SEMG模式识别研究中常用的分类器：,手势识别与交
8、互系统,实时手势交互系统组成,系统组成：信号检测模块和算法处理模块。,实现模拟-数字转换功能,获取信号,信号处理：放大、滤波等,包括信号预处理、活动段检测、特征提取和分类识别4个主要步骤,手势识别与交互系统,各阶段的作用,信号预处理：通过数字滤波去除信号基线漂移等方法以增加后级活动段检测的准确性。活动段检测：从多通道SEMG连续数据流中确定手语动作执行时的信号段。特征提取：基本任务是用一组最有效的参数来表征原始动作信号，实现数据的压缩，并尽可能做到不同手语动作对应的信号特征差异明显。分类识别阶段：线性判别分类器LDC因其良好的性能和较低的计算复杂度作为实时手势SEMG信号分类的首选算法。,手势识别与交互系统,用户使用此系统进行手势识别实验的截图,系统软件界面包括信号实时显示、系统参数调整、功能控制选择和结果显示4个主要区域。系统软件包含存储训练样本和实时测试两个基本功能。当使用存储训练样本功能时，系统可以对每一个手势动作所对应的活动段信号进行特征提取，并将特征数据存储在计算机中。实时测试时，系统加载存储在计算机中的特征数据作为模板训练分类器，并利用该分类器对用户执行的手势动作进行实时分类。测试识别的结果以文字、图片和语音的方式在结果显示区输出，为用户提供反馈信息并完成交互过程。,实验,谢谢您的聆听！,
