[发明专利]一种基于多模态情感识别的虚拟学习环境自然交互方法在审
| 申请号： | 201710014881.6 | 申请日： | 2017-01-09 |
| 公开（公告）号： | CN106919251A | 公开（公告）日： | 2017-07-04 |
| 发明（设计）人： | 蔡林沁;陈双双;徐宏博;虞继敏;杨洋 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06F3/01 | 分类号： | G06F3/01;G10L15/22;G10L25/63 |
| 代理公司： | 重庆市恒信知识产权代理有限公司50102 | 代理人： | 刘小红 |
| 地址： | 400065 重*** | 国省代码： | 重庆;85 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明请求保护一种基于多模态情感识别的虚拟学习环境自然交互方法，包括获取表征学生学习状态的表情、姿态和语音信息，构建基于彩色图像、深度信息、语音信号和骨骼信息的多模态情感特征；对彩色和深度图像进行人脸检测、预处理和特征提取，用支持向量机SVM和AdaBoost方法混合进行人脸表情分类；其次对语音情感信息进行预处理和情感特征的提取，利用隐马尔可夫模型对语音情感进行识别；对骨骼信息进行规则化处理得到人体姿势表示向量，用多类支持向量机SVM进行姿势情感分类；对三类情感的识别结果构建求积规则融合算法在决策层进行融合，根据融合结果生成虚拟智能体的表情、语音和姿势等情感表现。 | ||
| 搜索关键词： | 一种 基于 多模态 情感 识别 虚拟 学习 环境 自然 交互 方法 | ||
【主权项】：
一种基于多模态情感识别的虚拟学习环境自然交互方法，其特征在于，包括以下步骤：101、获取表征学生表情、语音信息和姿态的彩色图像、深度图像、语音信号和骨骼信息的多模态情感特征；102、首先对彩色图像和深度图像进行分类人脸检测、预处理和特征提取，用支持向量机SVM和AdaBoost方法混合进行人脸表情识别；其次对语音情感信息进行预处理和情感特征的提取，利用隐马尔可夫模型对语音情感进行识别；然后对骨骼信息进行规则化处理得到人体姿势表示向量，用多类支持向量机SVM进行姿势情感分类识别；103、对步骤102的人脸表情识别结果、语音情感识别结果、姿势感情识别结果采用求积规则融合算法在决策层进行融合，根据融合结果来驱动虚拟学习环境中虚拟教师决策模块，选择相应教学策略和行为动作，生成虚拟智能体的表情、语音和姿势在内的情感表现。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710014881.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种移动终端的控制方法、装置及移动终端
- 下一篇：环境效果模拟系统和方法
