[发明专利]一种基于多模态信息的座舱环境下年龄识别方法和装置

权利要求书

1.一种基于多模态信息的座舱环境下年龄识别方法，其特征在于，所述方法包括：

获取预设数量的人脸图像数据和与所述人脸图像数据关联的语音数据，对所述人脸图像数据和所述语音数据进行标注，得到数据集；

搭建基于预设神经网络的年龄识别模型；

基于所述数据集对所述年龄识别模型进行训练，训练完成后得到目标年龄识别模型；

获取智能座舱环境下目标人的目标人脸图像和目标语音，并将所述目标人脸图像和所述目标语音输入所述目标年龄识别模型，根据所述目标年龄识别模型的输出结果确定所述目标人的年龄；

其中，所述年龄识别模型包括预设个数的依次连接的层，每个所述层后连接一个特征融合模块，非最后一个所述特征融合模块的输出连接下一个所述层，最后一个所述特征融合模块的输出连接一个预设分类器，所述预设分类器的输出连接一个全连接层，所述特征融合模块用于获取前一个所述层输出的图像特征和语音特征，并基于所述语音特征对所述图像特征进行补充后输出新的图像特征。

2.如权利要求1所述的方法，其特征在于，首个所述层将输入的人脸图像处理后输入首个所述特征融合模块，首个所述层将输入的语音处理后分别输入首个所述特征融合模块和第二个所述层，非首个所述层将前一个所述特征融合模块输入的新的图像特征处理后输入下一个所述特征融合模块，除首个和最后一个以外的所述层将前一个所述层输入的语音特征处理后分别输入下一个所述特征融合模块和下一个所述层，最后一个所述层将前一个所述层输入的语音特征处理后输入下一个所述特征融合模块。

3.如权利要求2所述的方法，其特征在于，所述预设神经网络为Transformer神经网络，所述年龄识别模型的Backbone采用Swin-Transformer，所述预设个数为四，第一、二、四个所述层分别包括两个Swin Transformer Block，第三个所述层包括六个Swin TransformerBlock。

4.如权利要求1所述的方法，其特征在于，所述特征融合模块获取前一个所述层输出的图像特征和语音特征，并基于所述语音特征对所述图像特征进行补充后输出新的图像特征的具体过程包括：

设F_img为所述图像特征，F_voice为所述语音特征，将大小为的F_img转换为大小，其中N＝H×W，并通过线性Embedding操作生成大小为的残差向量和大小为的图像Q向量Q_img，并得到与图像Q向量Q_img对应的图像K向量K_img和图像V向量V_img；

对F_voice经过一次转置、第一MLP、二次转置，得到尺寸为的向量，并经线性Embedding操作后生成大小为的语音Q向量Q_voice，并得到与语音Q向量Q_voice对应的语音向量K_voice和语音V向量V_voice；

根据图像Q向量Q_img、图像K向量K_img、图像V向量V_img、语音Q向量Q_voice、语音向量K_voice和语音V向量V_voice确定图像注意力结果U_img和语音注意力结果U_voice；

将图像注意力结果U_img和语音注意力结果U_voice进行拼接后输入到第二MLP中，并将第二MLP输出的结果与残差向量F_Res拼接后输入到第三MLP中，将第三MLP输出的结果转化为大小的向量后与F_img进行残差计算，得到新的图像特征F_merge。