[发明专利]基于多模态数据的认知识别方法、计算机设备和存储介质

说明书

本申请公开了一种基于多模态数据的认知识别方法、计算机设备和存储介质。该认知识别方法包括：通过人机交互获取目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据；对多个时间段的声音模态数据、文本模态数据和影像模态数据进行处理得到第一认知分类结果；对多个时间段的文本模态数据进行处理得到第二认知分类结果；融合第一认知分类结果和第二认知分类结果确定目标对象的目标心理认知类型。本申请的认知识别方法通过人机交互获得的目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据进行认知识别分析，能够批量进行多个目标对象的认知识别，获得多个目标对象的目标心理认知类型，实现人类心理认知识别的人工智能化。

技术领域

本申请涉及人类心理认知识别领域，特别涉及一种基于多模态数据的认知识别方法、计算机设备和存储介质。

背景技术

随着科技的发展，多模态技术和人工智能已被广泛运用于多个领域，为人类攻克成千上万的难题。但是，仍然有部分领域并未投入人工智能的使用，如人类心理认知识别领域。长期以来，人类心理认知识别在临床心理上没有公式化的识别标准，且高度依赖专业人员运用其经验和感性思维结合模型完成识别。因此，增加了人工智能的应用难度。

此外，人类心理认知识别只能由临床心理专业人员单人单次完成识别，识别效率低，识别人数有限，且不能批量识别。

发明内容

有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的目的在于提供一种基于多模态数据的认知识别方法、计算机设备和存储介质。

本申请实施方式提供一种基于多模态数据的认知识别方法。所述认知识别方法包括通过人机交互获取目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据。对多个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据进行处理得到第一认知分类结果，对多个时间段的所述文本模态数据进行处理得到第二认知分类结果。融合所述第一认知分类结果和所述第二认知分类结果确定所述目标对象的目标心理认知类型。

如此，本申请的基于多模态数据的认知识别方法通过人机交互获得的目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据进行认知识别分析，能够批量进行多个目标对象的认知识别，获得多个目标对象的目标心理认知类型，实现人类心理认知识别的人工智能化，提高了人类心理认知识别的效率和准确性。

在某些实施方式中，所述声音模态数据包括声音频率模态数据、语音模态数据、语调模态数据、声纹模态数据，所述影像模态数据包括肢体模态数据、脸部模态数据和眼动模态数据，所述通过人机交互获取目标对象多个时间段的声音模态数据、文本模态数据和影像模态数据，包括通过声音采集装置获取多个时间段内所述目标对象进行人机交互的所述声音频率模态数据、所述语音模态数据、所述语调模态数据、所述声纹模态数据。通过用户输入装置和/或语音识别技术获取多个时间段内所述目标对象进行人机交互的所述文本模态数据。通过图像采集装置获取多个时间段内所述目标对象进行人机交互的所述肢体模态数据、所述脸部模态数据和所述眼动模态数据。

如此，本申请的基于多模态数据的认知识别方法通过声音采集装置、用户输入装置和图像采集装置对目标对象进行多时段、多模态采集，提供足够的目标对象的情绪数据，使人工智能的认知识别结果更为精准。

在某些实施方式中，所述对多个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据进行处理得到第一认知分类结果，包括对每个时间段的所述声音模态数据、所述文本模态数据和所述影像模态数据分别进行预处理得到对应的向量矩阵。通过分类器分别处理多个时间段的所述向量矩阵输出每个心理认知类型的第一概率，得到所述第一认知分类结果。

如此，本申请的基于多模态数据的认知识别方法将人机交互过程得到的目标充足模态数据向量化，处理向量矩阵得到连续的情绪输出第一认知分类结果，有利于提高认知识别的效率和后续模块的处理。