1、项目名称：心理生理信息感知关键技术及应用提名奖种：2018 年度国家技术发明奖二等奖主要完成人：胡斌、徐向民、郑文明、栗觅、马义德、赵庆林完成单位：兰州大学、华南理工大学、东南大学、北京工业大学项目简介：当前，脑科学及新一代人工智能的发展迫切需要有效地量化“感”+“ 知”人体的心理生理信息。通过有效感知人体心理生理信息并进行深入的量化分析，一方面可以对心理障碍（如抑郁、狂躁）实施客观量化评估，继而实现早期诊断、早期干预；另一方面，对于丰富我国安防和反恐甄别手段、提升军事人员履职能力等具有重要意义。同时，新一代人工智能中的“人机混合智能”特别强调机器的“类人”智能协同能力，而有效感知人体心理生理
2、信息，理解人的情感、注意等认知心理状态是实现人机混合智能的前提。然而，心理生理信息具有时序性、多变性和复杂性等特征，如何在自然情境中普适地、有效地获取心理生理信息就成为心理生理信息量化感知所面临的一个首要难题；另外，心理生理信息所具有的非结构化、低价值密度等特点也使其有效量化分析变得异常困难；最大的挑战还在于认知心理状态与心理生理信息之间的映射关系异常复杂，易受个体差异、时间及所处环境的影响，如何找出具有可靠性、复现性和普遍性的关联关系就成为能否实现量化感知的关键。鉴于此，本项目提出了“心理生理计算理论及方法” ，旨在创新生物传感及普适化心理生理信息获取技术，探索特征优化、多模数据融合等智能算
3、法，依据心理生理学建立面向认知心理状态与功能的新型计算理论与方法。本项目从普适化生理信号、语音、表情、眼动等多模态感知信号入手，发明了便携式生物传感设备及心理生理数据量化分析方法，对“心理生理计算理论及方法”进行了有效的实践，主要技术发明包括：一、提出了面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案，研制出了在功耗、精度、采样率等多项技术指标上均优于国际知名商业产品的便携式脑电传感器，结合优选的极简电极部署方案以及创新的眼电伪迹去除和特征提取算法，解决了脑电信号的普适化高质量采集和有效传输等难题，实现了以脑电信号为主、前额温度为辅的心理状态有效评估，
4、在基于便携式脑电的抑郁障碍量化评估及持续性监测等问题上取得了重大突破。二、提出了针对语音信息有效量化感知的核半监督判别分析方法，实现了基于说话人惩罚图学习算法的特征维数约简，解决了语音信息受个体差异影响较大而导致情感识别率较低的难题，并提出首个基于中文语音的心理状态识别方法，通过量化分析中文语音帧不同特征的时序模式，通过多段语音帧集成学习产生最终的心理状态评估结果。同时，填补了当前基于语音的抑郁状态识别仅限于英语、德语等少数语种，缺乏中文语音分析和评估系统的空白。三、提出了针对面部表情有效量化感知的图像颜色恒温性处理及姿态归一化方法，在提升图像滤波和分块效果的同时，一定程度上解决了人脸姿态变化
5、造成表情类内差异大的问题，并基于面部动作分块单元的组合及顺序关系，结合 AAM 模型实现了视频序列中的面部表情有效识别。同时整合面部表情和语音，提出了基于核降秩回归的情感识别融合算法，在心理状态的多模融合分析方面取得重要突破。四、提出了基于瞳孔直径的“情感带宽”新概念，发明了针对个体情感反应异常程度的有效量化分析方法。通过瞳孔直径这一物理指标客观地度量正性、负性情绪体验的大小和范围，解决了以往个体对于外界情绪体验的主观评分方法所存在的模糊性、不确定性、缺乏整体性和动态性等问题，研制出了第一台情感带宽心理状态测试仪，实现了基于瞳孔直径的抑郁障碍有效量化评估。本项目核心技术共获授权发明专利 20
6、多项，其中核心发明专利10 项（包括美国发明专利 1 项） ，发表相关 SCI 论文 40 余篇，累计被引用次数达到 1600 多次。专家鉴定认为，本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。同时，本项目部分核心技术及应用分获教育部科学研究优秀成果奖 2016 年度技术发明一等奖和 2015 年度自然科学二等奖。目前，通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在广州汇智通信技术有限公司、德赛信息科技有限公司、瑞士 RUI-Tech GmbH、宏智力科
7、技有限公司、广东省中山市读书郎电子有限公司等多家企业的相关产品中得到了应用，产生经济效益约 20 亿元。相关原型产品还用于包括北京安定医院、上海精神卫生中心、天水市第三人民医院、军事医学科学院在内的多家医疗或科研机构的临床和前沿研究工作中，涉及抑郁障碍的临床研究及辅助诊断、单兵典型情绪的实时监控等，累计开展临床实验 1700 多人次。2017 年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过 1 亿元。由此可见，本项目核心技术已经取得了突出的实际应用效果，经济效益和社会效益显著。客观评价：1)成果鉴定意见2016 年 5 月 18 日由兰州大学组织召开的专家鉴定会认为，
8、本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。2)成果查新结论教育部科技查新工作站科技查新报告认为本项目成果中“便携式脑电传感器及生理与情感量化分析关键技术，除委托人项目组发表的文献外，国内外均未见技术特点完全相符的文献报道” ，证明了本项目具有原创性和新颖性。3) 项目曾获科技奖励情况“心理生理信息感知关键技术及应用”获得 2016 年度教育部科学研究优秀成果奖技术发明一等奖。 “鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究”获得 2015 年度教育部科学研究优秀成果奖自
9、然科学二等奖。胡斌教授获得 2014 年第五届中国侨界贡献奖。4）学术界评价本项目成果共发表相关 SCI 论文 40 余篇，得到了国内外同行专家的认可，累计被引用次数达到 1600 多次。2007年度图灵奖得主Joseph Sifakis教授曾评价胡斌教授学术论文“EEG-Based Cognitive Interfaces for Ubiquitous Applications: Developments and Challenges”研究工作扎实全面，涉及到传感器设计、信号处理、数据统计及挖掘等方面，且预测结果与实际数据相符，有效提升了现有的EEG分析技术，对进一步分析大脑活动做出了重要贡
10、献。在2014年12 月12日出版的Science专刊人物介绍中，对胡斌教授及其信息与医学的交叉性研究工作做了介绍，并充分肯定了其研究成果，称其将为医学诊断提供新的依据。2015 年本项目主持了 Science 特刊Advances in Computational Psychophysiology ， “心理生理计算”这一理论得到了美国科学院、医学院两院院士 Michael I. Posner 教授的高度认可，在其拟文对该理论的评价中指出：“心理生理计算”将引领新的研究热潮。2012 年乔治亚理工大学 Vinay Bettadapura 教授在“Face Expression Recogni
11、tion and Analysis: The State of the Art”一文中评价本项目相关论文“Facial Expression Recognition Using Kernel Canonical Correlation Analysis”提出的改进型 KCCA 算法有效解决了格拉姆矩阵的奇异性问题；而塞萨洛尼基亚里士多德大学的 Ioannis Pitas 教授在“Salient feature and reliable classifier selection for facial expression classification”一文中提到该改进型 KCCA 算法实现了对逻
12、辑图向量和语义表达向量之间的相关性的学习，有助于对给定的测试图像的关联语义表达向量的评估，进而用于面部表情分类。5）主流媒体关注和报道2012 年 12 月 4 日， 中国科学报以“心理生理计算：心理治疗翻开新篇章”为题，对本项目相关理论成果进行了报道。2013 年 8 月 28 日， “中华网”以题为“生理心理计算将为抑郁症早期预测与干预提供新的解决途径”报道了本项目中的部分成果。2017 年 12 月 2 日，中国国际广播电台采访胡斌教授并报道了本项目主要成果。推广应用情况：通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在相关企业的产品中得到了的应用，而相关原型产品
13、也已经用于多家科研机构的相关研究及多家医院的心理障碍诊断临床实验。本项目中便携式脑电传感关键技术已初步应用于宏智力科技有限公司、上海乐相科技有限公司、深圳市凯立德科技股份有限公司推出的相关产品中，累计经济效益达到 3500 多万元人民币。同时，便携式脑电传感关键技术也被瑞士 RUI-Tech GmbH 公司用于心理障碍患者干预效果的阶段性评估研究中，评估性能得到了外方公司的好评。融合表情和语音的心理状态评估技术已经应用于广东省中山市读书郎电子有限公司的教育电子产品中，累计经济效益达到 8.3 亿元人民币。基于语音的情感分析技术已经应用于惠州德赛信息科技有限公司的智能穿戴设备中，累计经济效益达到
14、 1.04 亿元。便携式脑电传感关键技术和基于面部表情的心理状态异常量化分析技术还被应用到广州汇智通信技术有限公司的公共安全服务应用中，累计经济效益达到 11.2 亿元人民币。 “情感带宽”关键技术及创新理论已经应用于北京爱生科贸有限公司的“视频眼震电图仪(VNG)”中，累计产生经济效益 130 万元人民币。2017 年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过 1 亿元人民币。在临床应用方面，本项目所研发的多种抑郁障碍评估原型系统已经在包括北京安定医院、上海精神卫生中心、兰州市第三人民医院、天水市第三人民医院等多家国内医疗机构开展临床实验应用，为降低心理障碍漏诊及
15、误诊率，实现心理障碍的大规模有效筛查提供了重要依据，同时也促进了科研院所与临床医院之间的长期稳定合作和发展。在科研院所合作方面，国内多家科研机构也正在使用本项目所研发的便携式脑电传感系统开展相关研究工作。在军事医学科学院，主要用于研究基于脑电的个体情绪状态实时监控关键技术，以实现单兵典型情绪实时监控，为单兵负性情绪预警和及时干预头盔的研究提供技术支撑。在中国科学院心理研究所计算网络心理实验室，主要用于个体心理活动的辅助分析研究。应用单位名称 应用技术应用的起止时间应用单位联系人/电话 应用情况首都医科大学附属北京安定医院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法2014.01
16、-至今 胡昌清对 733 名患者进行脑电信息、语音数据和眼动轨迹的实时采集与处理，结合应用背景进行实时性的数据分析，实现对抑郁症患者的风险筛查。军事医学科学院 便携式脑电传感系统2015.06-2016.12 赵永岐对 150 名被试进行了情绪刺激后的 Fp1、Fp2 和Fpz 脑电信号采集，实现对四种情绪状态的有效识别。中国科学院心理研究所便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2013.11-至今 朱廷邵对 252 名患者进行脑电信息、语音数据、眼动轨迹及微表情信息的实时采集与处理，应用到行为认知心理学的研究中，辅助研究人员对下一阶段
17、的科研方向做出合理的分析。兰州市第三人民医院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2014.01-至今 霍小宁采集并分析 401 名患者情绪刺激后的脑电信息、眼动轨迹、语音及微表情信息，实现对抑郁症患者的风险筛查。天水市第三人民三院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量系统2012.3-至今 王刚平对 416 名抑郁及正常被试进行脑电信息、语音、眼动和微表情的实时采集、处理与分析，辅助医生进行临床诊断。上海市精神卫生中心便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法、融合微表情和语音的心理状态评估技术20
18、17.01-至今 李春波对 230 名前来就诊的患者进行脑电信息、眼动轨迹、语音数据和微表情信息的采集与分析处理，辅助医生的抑郁诊断。上海乐相科技有限公司便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法2017.01-至今 黄书立采集受试人群的脑电数据、眼动轨迹及语音数据，辅助虚拟现实场景的开发，使该虚拟现实系统取得更好的刺激效果。瑞士 RUI-Tech GmbH公司便携式脑电传感系统 2014.07-至今 Ruidang Wang使用便携式脑电传感系统，共进行了 168 例实验，在对多动症、焦虑、失眠、头痛、抑郁、记忆力衰退人群的神经反馈治疗和训练中起到了积极的作用。深圳市宏智力
19、科技有限公司 便携式脑电采集方法2014.09-至今 吕力超公司产品应用了采用全新的去噪算法、特征优化算法的脑电信号处理技术使脑电信号的分析处理更便捷、准确。北京爱生科贸有限公司便携式脑电传感系统、情感带宽测量系统2011.07-至今 初艳杰公司产品使用了便携式脑电传感系统进行脑电信号采集、分析与处理，使用情感带宽测量系统进行眼动轨迹追踪、记录及处理。惠州德赛信息 语音情感分析技术、生理参 2010.06-至 王勇 在德赛科技有限公司的智能穿戴手环产品中实现科技有限公司 数采集与智能分析算法 今 了产业化应用。其中“德赛智能穿戴设备 Fitband F5”产品通过了威尔克通信实验室检验，并获广
20、东省高新技术产品认证。截止 2017 年 12 月底，3 年间累计已销售 60 万台智能手环产品。按照每台 200 元 /台测算，共计实现市场销售 1.04 亿元。广东省中山市读书郎电子有限公司融合微表情和语音的心理状态评估技术2014.03-至今 刘璐在该公司平板学习电脑等系列产品中实现产业化应用，2014 年 12 月2017 年 12 月， 3 年已累计实现市场销售 8.3 亿元。广州汇智通信技术有限公司图像复原算法、人脸识别以及面部表情辅助识别等相关技术、便携式脑电传感系统2012.09-至今 胡韶峰已在公共安全服务中实现了产业化应用。在 2014年 11 月2017 年 11 月，3
21、 年期间实现产业化应用市场产值总计 11.2 亿元人民币。深圳市凯立德科技股份有限公司便携式脑电传感系统 2014.06-至今 蔡惠文已在该公司脑电产品中实现了产业化应用。其中“数字化脑电 EEG8102”产品，在 2014 年 6 月2017 年 6 月，3 年期间实现产业化应用市场产值总计 460 万元人民币。主要知识产权证明目录：知识产权类别知识产权具体名称国家（地区） 授权号 授权日期 证书编号 权利人 发明人专利有效状态发明专利一种便携式脑电采集方法 中国 ZL201510511712.4 20160921 5054566 胡斌胡斌；赵庆林；彭宏 有效发明专利一种基于单幅图像的颜色恒
22、常性处理方法中国 ZL201110248011.8 20130410 1170427 徐向民 徐向民；翁俊武； 叶佳木 有效发明专利一种基于核半监督的语言情感识别方法中国 ZL201310549224.3 20160907 2231331 郑文明郑文明；徐新洲；赵力；魏昕；余华；黄程韦；刘健刚有效发明专利一种情感带宽测定方法和系统 中国 ZL201410440520.4 20150826 1771700 栗觅栗觅；吕胜富；王刚；钟宁 有效发明专利一种脑电与温度相结合的抑郁人群判定方法中国 ZL201610709400.9 20171103 2680688 胡斌胡斌； 赵庆林； 彭宏； 周昱；
23、李志学； 彭茹； 马永昊有效发明专利一种可穿戴的并馈天线 中国 ZL201510398584.7 20160824 2210462 胡斌胡斌、高国平、彭宏、贺乐乐、赵晋宁、田晓龙有效发明专利一种基于 AAM 模型的视频序列人脸识别方法中国 ZL201310445776.X 20170208 2372744 徐向民 徐向民；陈晓仕； 黄卓彬；林旭斌 有效发明专利一种姿态归一化的非正面人类表情识别方法中国 ZL201310261775.X 20170524 2494604 郑文明 郑文明；冯天从 有效发明专利一种基于说话人惩罚的独立于说话人语言情感识别方法中国 ZL201410078383.4 20160824 2198004 郑文明郑文明；徐新洲；赵力；黄程韦；余华；吴尘；查诚有效发明专利Affective Bandwidth Measurement and Affective Disorder Determination美国 14/731,928 20170103 US009532711B2 栗觅 MiLi;Sengfulv;Gang Wang; NingZhong 有效
