[发明专利]一种基于多模态情感识别的虚拟学习环境自然交互方法

说明书

技术领域

本发明涉及情感识别、多模态、人机交互技术、虚拟现实、教育等领域，具体涉及一种基于多模态情感识别的虚拟学习环境自然交互方法。

背景技术

虚拟学习环境是虚拟现实技术与课堂教学的有机结合，通过在虚拟环境中构建课堂教学场景、授课策略、教学内容等，可以打破时间、空间、教学资源的限制，让学生“身临其境”地体验各种教学实验实践过程，加强对各种原理、概念、方法的理解，提升学生的学习兴趣和效果。

虚拟学习环境的建立是一项集成性的、综合性技术，涉及到虚拟现实、机器学习、情感设计、人机交互等多方面的内容，通过计算机生成一个完全逼真的，集视、听、触、情等多种感知的虚拟课堂环境，使学习者有效融人学习场景，给予学习者自然、真实感受的同时，更能从数字化虚拟空间自由获得丰富、准确的信息与知识。这种学习环境非常重视学习者的情感体验，强调为学习者提供符合其特点与需求的实时、互动课程，并重视学习效果以及学习方法的建议与反馈。

情感信息对人们的行为决策具有重大影响，这使得情感计算在虚拟学习环境及人机交互中占有极其重要的作用，直接影响学习环境的沉浸感，决定着虚拟学习环境的实用性和学习效果。人的情感表达一般有语音、面部表情、姿势、文本等多种模态。人脸表情包含了的一定的情感信息，它是人类情感表达的主要方式。语音除了传达了语言信息，同时也可能包含情感信息，如说话声音的快慢与高低。姿势也是情感表达的重要方式，一般情况下，人们会用点头、摇头、挥手等肢体动作来传递情感。随着计算机技术的发展，人脸表情识别、语音交互、姿势识别等单模人机交互方式已经取得了不错的成果。然而在虚拟学习环境中，仅凭人的表情，语音或者姿势等信息难以准确传达人们的真实情感。因此融合语音、表情、姿势的多模态人机交互技术，对虚拟学习环境的构建具有十分重要的意义。通过多模态的情感交互技术，计算机通过传感器来获取学习者的语音、面部表情、姿势动作等多种信息，来观测人的情感变化，理解学习者的学习状态，实时改变教学策略与方法，进而驱动学习者调整学习状态与兴趣。

多模态情感交互利用了每种模态的特性，同时使各种模态相辅相成，大大提高了人机交互的准确性，还使得人机交互变得更加自然、高效。一般认为生气、高兴、伤心、害怕、厌恶、惊奇、中性是人类的七种基本情感。这是情感识别中最常用的分类标准，虚拟学习环境中多模态情感识别主要也是对这七种情感来进行分类。

常用的多模态融合技术有两种类型，分别是特征层融合和决策层融合。特征层融合就是先提取各个模态的特征，再将这些特征创建成一个总的特征向量用于情感识别。决策层融合就是提取各个模态特征后，将其分别输入其各自的分类器，再使用某种规则和方法，将各个分类器的结果进行融合决策，得到融合后的情感信息。

显然，传统基于鼠标、键盘的人机交互方式，严重制约了虚拟学习环境的实用性与真实感，难以满足虚拟学习环境中情感交互需求。2011年，微软公司开发的集图像识别、视频捕捉、语音控制等多种技术于一体的体感器Kinect，实现了用户不需要借助任何手持设备，即可与计算机进行自然交互，大幅降低了操作成本，为实现自然人机交互提供了一种有效方法。当前情感计算、人机交互技术已引起世界各国的高度重视，国内外研究者对人脸表情识别、姿势识别、语音识别等单模态情感识别进行了广泛的研究。一些研究者基于穿戴视觉的指示和图标以及语音命令实现双模态人机交互，但很大程度上制约了人机交互的自由性和灵活性。然而，到目前为止，一些公开发表的论文和专利大多着重于单模态情感计算、双模态情感识别及其人机交互应用。在虚拟学习环境中，仅凭人的表情，语音或者姿势等单模态情感识别信息难以准确传达学生的真实情感。而对于如何构建基于表情、语音、姿势的多模态情感识别方法及其虚拟学习环境的自然交互方式目前国内外尚缺少有效研究，尚没有关于该方面的专利申请。所以我们提出了一种基于多模态情感识别的虚拟学习环境自然交互方法，创新性提出一种在虚拟学习环境中融合语音、面部表情、姿势等多模态情感信息，识别学生的学习状态，实时调整虚拟教师的授课策略与行为表达，驱动学习者调整学习状态与兴趣，提高虚拟学习环境的交互实时性与自然性，极大的提高学习效果。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高了准确性、高效性和自然性的基于多模态情感识别的虚拟学习环境自然交互方法。本发明的技术方案如下：

一种基于多模态情感识别的虚拟学习环境自然交互方法，其包括以下步骤：

101、获取表征学生表情、语音信息和姿态的彩色图像、深度图像、语音信号和骨骼信息的多模态情感特征；