[发明专利]场景识别方法、训练方法、装置、电子设备及程序产品

权利要求书

1.一种场景识别方法，其特征在于，包括：

获取待识别场景的彩色图像与深度图像；

利用特征提取算法对彩色图像与深度图像分别进行特征提取，获得彩色图像对应的第一全局特征与第一局部特征，以及深度图像对应的第二全局特征与第二局部特征；

对所述第一全局特征、第二全局特征、第一局部特征以及第二局部特征进行融合，得到待识别场景的多模态特征；

对所述待识别场景的多模态特征进行场景识别，得到所述待识别场景的识别结果；

其中，所述对所述第一全局特征、第二全局特征、第一局部特征以及第二局部特征进行融合，得到待识别场景的多模态特征，包括：

利用GCN算法对第一局部特征与第二局部特征进行基于语义的特征融合，得到最终局部特征；

对所述最终局部特征、第一全局特征以及第二全局特征进行融合，得到待识别场景的多模态特征；

所述利用GCN算法对第一局部特征与第二局部特征进行基于语义的特征融合，得到最终局部特征，包括：

基于第一局部特征与第二局部特征，分别构建第一图结构和第二图结构，其中，所述第一图结构用于表示彩色图像中各物体节点之间的位置关联关系，第二图结构用于表示深度图像中各物体节点之间的位置关联关系；

根据第一图结构中的节点的特征与第二图结构中的节点的特征，对第一图结构中的各节点的特征进行融合，得到第一最终局部特征；

根据第二图结构中的节点的特征与第一图结构中的节点的特征，对第二图结构中的各节点的特征进行融合，得到第二最终局部特征；

将所述第一最终局部特征与第二最终局部特征进行级联处理以及特征变换，得到最终局部特征。

2.根据权利要求1所述的方法，其特征在于，所述利用特征提取算法对彩色图像与深度图像分别进行特征提取，获得彩色图像对应的第一全局特征与第一局部特征，以及深度图像对应的第二全局特征与第二局部特征，包括：

对所述彩色图像和所述深度图像分别进行基于卷积的特征提取，得到所述彩色图像的第一高维特征与所述深度图像的第二高维特征；

分别对所述第一高维特征与第二高维特征进行特征变换，得到所述彩色图像的第一全局特征和所述深度图像的第二全局特征；

基于空间注意力机制对所述第一高维特征和所述第二高维特征分别进行特征压缩及映射，得到所述第一局部特征和所述第二局部特征。

3.根据权利要求2所述的方法，其特征在于，所述基于空间注意力机制对所述第一高维特征和所述第二高维特征分别进行特征压缩及映射，得到所述第一局部特征和所述第二局部特征，包括：

利用空间注意力算法对所述第一高维特征和第二高维特征分别进行计算，得到第一高维特征对应的空间注意力图以及第二高维特征对应的空间注意力图；

对第一高维特征对应的空间注意力图和第二高维特征对应的空间注意力图分别进行沿通道方向的特征映射，得到所述第一局部特征和第二局部特征。

4.一种场景识别模型的训练方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括训练场景的至少一组彩色训练图像、深度训练图像以及场景类别标签；

利用所述训练数据集对预设的场景识别模型进行训练，得到训练后的场景识别模型，所述训练后的场景识别模型用于根据权利要求1-3任一项所述的场景识别方法对所述彩色训练图像与深度训练图像进行处理。

5.根据权利要求4所述的方法，其特征在于，所述利用所述训练数据集对预设的场景识别模型进行训练，包括：

将所述彩色训练图像、深度训练图像输入至预设的场景识别模型，以使所述预设的场景识别模型对所述彩色训练图像、深度训练图像分别进行特征提取，获得彩色训练图像对应的第一全局训练特征与第一局部训练特征，以及深度训练图像对应的第二全局训练特征与第二局部训练特征；以及，对所述第一全局训练特征、第二全局训练特征、第一局部训练特征以及第二局部训练特征进行融合，得到训练场景的多模态训练特征；

根据基于所述多模态训练特征与场景类别标签的交叉熵损失函数对所述预设的场景识别模型进行调参处理，直至完成训练。