[发明专利]一种基于跨模态注意力机制的多模态个性识别方法及系统

权利要求书

1.一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，包括以下步骤：

S1：对视频数据进行预处理，分别得到视频数据中的音频文件和视频帧中的人脸图像和场景图像；

S2：从音频文件中提取声音特征；

S3：分别对人脸图像和场景图像进行图像特征提取；

S4：利用跨模注意力机制对提取的声音特征和图像特征进行深层特征提取；

S5：将不同模态的深层特征进行加权特征融合，利用预设的全连接层计算个性分数，得到个性结果；

S6：将预准备的视频数据划分为训练集、验证集和测试集，重复步骤S1-S5迭代训练，利用验证集对训练后的模型进行验证，保存验证效果最好的模型用于个性识别。

2.根据权利要求1所述的一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，步骤S1的具体过程为：

S101：利用视频剪辑工具读取视频数据，保存视频中的音频为wav格式；

S102：利用开源的机器视觉库读取视频每一帧，在读取的全部帧中，固定区间间隔，每个子间隔随机选取一帧作为场景图像，将得到的场景图像转换为预设尺寸；

S103：利用开源的人脸识别模型从场景图像识别出人脸图像，标记人脸区域，将人脸图像转换为预设尺寸。

3.根据权利要求2所述的一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，所述预设尺寸为112*112，所述场景图像和人脸图像均为3通道图像。

4.根据权利要求1所述的一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，步骤S4的具体过程为：

S401：分别将声音特征、人脸图像特征、场景图像特征三个模态特征通过双向的GRU得到三个模态特征的上下文特征表示；

S402：将三个模态特征的上下文特征表示利用跨模态注意力机制进行特征提取；

S403：将通过跨模注意力机制提取的各模态特征通过LSTM+attention层提取时序特征。

5.根据权利要求4所述的一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，分别将声音特征、人脸图像特征、场景图像特征三个模态特征通过双向的GRU得到三个模态特征的上下文特征表示，表达式为：

X_sence＝BiGRU(s₁，s₂，s₃，......，s_t)

X_face＝BiGRU(f₁，f₂，f₃，......，f_t)

X_audio＝BiGRU(a₁，a₂，a₃，......，a_t)

其中，BiGRU是双向GRU网络，s₁～s_t、f₁～f_t分别为提取的场景特征序列和人脸特征序列，a₁～a_t是S2提取的声音特征序列，X_sence、X_face、X_audio分别是经过上下文表示的场景、人脸、声音特征序列。