[发明专利]一种用于医疗护理机器人的多模态情感识别方法

说明书

一种用于医疗护理机器人的多模态情感识别方法，包括：进行多模态情感信息采集，采集到患者的视频信息和音频信息；根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征提取，根据所述音频信息进行语音自注意力情感特征提取和文本自注意力情感特征提取；4种自注意力情感特征进行基于互注意力机制情感特征融合，得到完整的多模态情感特征；多模态情感特征进行基于图卷积神经网络的上下文情感特征提取，得到包含上下文信息的多模态情感特征；包含上下文信息的多模态情感特征进行情感分类识别得到情感标签结果；根据所述情感标签结果进行语音交互和显示。本发明能提高对人的情感识别准确率。

技术领域

本发明涉及情感识别技术领域，具体涉及一种用于医疗护理机器人的多模态情感识别方法。

背景技术

随着人机交互技术的不断发展，情感交互成为了人机交互中的一大重点研究内容，其中情感识别是情感交互的关键，其目的是让机器能够感知人类的情感状态，使机器人更具人性化。多模态情感识别技术在医疗护理机器人领域具有广泛的应用前景。利用医疗护理机器人搭载的各种传感器，获取患者的面部表情、行为动作、语音信号等含有情感特征的多模式信号，利用深度学习等方法实现特征提取和融合，对患者的情感进行分析和预测，使得医疗护理机器人更具人性化，具有更强的情感识别能力，在提高患者使用医疗护理机器人时的使用体验的同时增强了患者病情反馈的实时性和准确性，减轻了医生的工作强度。

现有大部分的医疗护理机器人都缺乏情感识别的功能。部分具有情感识别能力的机器人仅能实现基于单一模态的简单情感识别功能，如基于表情或者语音的情感识别技术。此类机器人没有考虑到不同模态获取到的情感信息之间的互补性，在情感信息受到噪声影响或者情感信息获取不充分的情况下，情感识别准确率较低，无法满足情感交互的应用。

现有的多模态情感分析方法主要围绕着提取合适的但模态情感特征和构建鲁棒的多模态情感分析模型的研究上，忽略了视频上下帧之间存在的上下文关系，而实际上当前时刻的情感往往和之前时刻和之后时刻所表述的情感具有紧密联系，这种联系不可忽略。

综上所述，开发基于多模态特征获取和表达的方法，利用面部表情，行为动作，语音，文本信息的多模态情感信息，克服现有单模态情感识别识别效率低下的困难，引入多模态上下文情感信息，构建适用于医疗护理机器人的多模态情感识别系统成为了本研究领域技术人员亟待解决的问题。

发明内容

为克服现有医疗护理机器人缺乏多模态情感识别能力且多模态情感信息缺失上下文信息的问题，本发明提供一种利用面部表情，行为动作，语音信号的多模态情感特征，引入多模态上下文情感信息的用于医疗护理机器人的多模态情感识别方法。

本发明采用的技术方案为：

本发明提供一种用于医疗护理机器人的多模态情感识别方法，包括多模态情感信息采集、表情自注意力情感特征提取、动作自注意力情感特征提取、语音自注意力情感特征提取、文本自注意力情感特征提取、基于互注意力机制的情感特征融合、基于图卷积神经网络的上下文情感特征提取、情感分类识别、语音交互和显示。具体流程包括以下步骤：

1、进行多模态情感信息采集，采集到患者的视频信息和音频信息，

2、根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征提取，根据所述音频信息进行语音自注意力情感特征提取和文本自注意力情感特征提取。

3、所述4种自注意力情感特征进行基于互注意力机制情感特征融合，得到完整的多模态情感特征。

4、所述多模态情感特征进行基于图卷积神经网络的上下文情感特征提取，得到包含上下文信息的多模态情感特征。

5、所述包含上下文信息的多模态情感特征进行情感分类识别得到情感标签结果。

6、根据所述情感标签结果进行语音交互和显示