[发明专利]一种基于深度学习的人脸表情和姿态双模态融合表情识别方法在审
| 申请号： | 201910126798.7 | 申请日： | 2019-02-20 |
| 公开（公告）号： | CN109886190A | 公开（公告）日： | 2019-06-14 |
| 发明（设计）人： | 王科俊;陈静;张欣怡;孙丽莹 | 申请（专利权）人： | 哈尔滨工程大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/04;G06N3/06 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 150001 黑龙江省哈尔滨市南岗区*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于图像识别技术领域，具体涉及一种基于深度学习的人脸表情和姿态双模态融合表情识别方法。包括以下步骤：建立自然环境下的图像数据库，并对获取的图像进行预处理和增强处理；提出SE‑GoogleNet网络对处理后的数据图像进行特征提取；选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；将两个经过预训练之后的卷积神经网络分别输入SPP层进行特征融合，最后送入LSTM中实现双模态表情识别最终分类。本发明设计了基于面部、肢体的双通道特征融合的LSTM模型，使用金字塔池化，进而解决了特征融合时的尺寸匹配问题；并且结合迁移学习，使该模型能在数据库较少的情况下实现对双模态表情的识别，提高了该模型对各种自然环境的适应能力，应用前景广泛。 | ||
| 搜索关键词： | 表情识别 特征融合 双模态融合 人脸表情 双模态 自然环境 预处理 卷积神经网络 图像识别技术 图像数据库 尺寸匹配 动作分类 数据图像 特征提取 增强处理 知识迁移 双通道 池化 卷积 学习 金字塔 肢体 送入 数据库 表情 迁移 图像 分类 应用 网络 | ||
【主权项】：
1.一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，具体包括如下步骤：步骤1、建立自然环境下的图像数据库；步骤2、对获取的图像进行预处理和增强处理；步骤3、将预处理后的图像进行增强处理后送入SE‑GoogleNet网络中进行特征提取；步骤4、选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；步骤5、将两个经过预训练之后的卷积神经网络分别输入SPP层，然后进行特征融合，最后送入LSTM完成最终的分类。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨工程大学，未经哈尔滨工程大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910126798.7/，转载请声明来源钻瓜专利网。
- 上一篇：指纹模板获取方法及相关装置
- 下一篇：一种基于AR的识别物管理方法及系统
