|
钻瓜专利网为您找到相关结果 3887802个,建议您 升级VIP下载更多相关专利
- [发明专利]虚拟现实设备及多模态情绪识别方法-CN202310291727.9在审
-
许畅
-
海信电子科技(武汉)有限公司
-
2023-03-21
-
2023-07-07
-
G06F3/01
- 本申请实施例提供一种虚拟现实设备及多模态情绪识别方法,所述方法可以响应于用户输入的情绪识别指令,获取语音信号、面部表情图像以及脑电信号,然后提取语音信号中的音频特征,以及提取面部表情图像的图像特征,以及提取脑电信号的脑电特征然后将音频特征与图像特征进行拼接,得到图音特征,以及将图音特征与脑电特征执行共同注意力编码,得到赋予权重的权重脑电特征。再将音频特征、图像特征以及权重脑电特征执行特征融合,得到多模态特征向量。最后将多模态特征向量输入至情绪分类模型,得到情绪识别结果。本申请可以将不同模态特征在语义空间中对齐,对情绪特征进行多模态的分析,以提高在人机交互过程中,情绪分析的准确性。
- 虚拟现实设备多模态情绪识别方法
|