[发明专利]基于多模态数据的认知识别方法、计算机设备和存储介质

权利要求书

1.一种基于多模态数据的认知识别方法，其特征在于，包括：

通过人机交互获取目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据；

对多个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据进行处理得到第一认知分类结果；

对多个时间段的所述文本模态数据进行处理得到第二认知分类结果；

融合所述第一认知分类结果和所述第二认知分类结果确定所述目标对象的目标心理认知类型。

2.根据权利要求1所述的认知识别方法，其特征在于，所述声音模态数据包括声音频率模态数据、语音模态数据、语调模态数据、声纹模态数据，所述影像模态数据包括肢体模态数据、脸部模态数据和眼动模态数据，所述通过人机交互获取目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据，包括：

通过声音采集装置获取多个时间段内所述目标对象进行人机交互的所述声音频率模态数据、所述语音模态数据、所述语调模态数据、所述声纹模态数据；

通过用户输入装置和/或语音识别技术获取多个时间段内所述目标对象进行人机交互的所述文本模态数据；

通过图像采集装置获取多个时间段内所述目标对象进行人机交互的所述肢体模态数据、所述脸部模态数据和所述眼动模态数据。

3.根据权利要求1所述的认知识别方法，其特征在于，所述对多个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据进行处理得到第一认知分类结果，包括：

对每个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据分别进行预处理得到对应的向量矩阵；

通过分类器分别处理多个时间段的所述向量矩阵输出每个心理认知类型的第一概率，得到所述第一认知分类结果。

4.根据权利要求3所述的认知识别方法，其特征在于，所述对每个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据分别进行预处理得到对应的向量矩阵，包括：

将所述声音模态数据进行傅里叶变换得到对应的声音向量矩阵；

通过自然语言处理编码器将所述文本模态数据转换为对应的文本向量矩阵；

对所述影像模态数据的视频图像提取时间切片得到对应的影像向量矩阵。

5.根据权利要求4所述的认知识别方法，其特征在于，所述通过分类器分别处理多个时间段的所述向量矩阵输出每个所述心理认知类型的第一概率，得到所述第一认知分类结果，包括：

将所述声音向量矩阵、所述文本向量矩阵和所述影像向量矩阵进行拼接得到拼接向量矩阵；

通过第一分类器分别对每个时间段的所述拼接向量矩阵进行处理得到每个时间段的情绪分类结果；

记录并串联多个时间段的所述情绪分类结果得到情绪链；

通过第二分类器处理所述情绪链输出每个所述心理认知类型的所述第一概率，得到所述第一认知分类结果。

6.根据权利要求1所述的认知识别方法，其特征在于，所述对多个时间段的所述文本模态数据进行处理得到第二认知分类结果，包括：

通过自然语言处理分别对每个时间段的所述文本模态数据进行处理输出每个时间段对应的每个心理认知类型的初步识别概率；

对每个时间段的所述初步识别概率进行统计计算输出每个所述心理认知类型的第二概率，得到所述第二认知分类结果。

7.根据权利要求6所述的认知识别方法，其特征在于，所述通过自然语言处理分别对每个时间段的所述文本模态数据进行处理输出每个时间段对应的每个心理认知类型的初步识别概率，包括：

通过所述自然语言处理分别对每个时间段的所述文本模态数据提取关键词；

根据关键词认知匹配得到每个时间段对应的每个心理认知类型的初步识别概率。