[发明专利]场景识别方法、训练方法、装置、电子设备及程序产品

说明书

本发明实施例提供一种场景识别方法、训练方法、装置、电子设备及程序产品，该方法包括：获取待识别场景的彩色图像与深度图像；利用特征提取算法对彩色图像与深度图像分别进行特征提取，获得彩色图像对应的第一全局特征与第一局部特征，以及深度图像对应的第二全局特征与第二局部特征；对第一全局特征、第二全局特征、第一局部特征以及第二局部特征进行融合，得到待识别场景的多模态特征；对待识别场景的多模态特征进行场景识别，得到待识别场景的识别结果。由于在提取彩色图像与深度图像的全局特征的基础上，还分别提取彩色图像与深度图像的第一局部特征与第二局部特征，并将上述局部特征与全局特征进行融合，进而提高了场景识别的准确度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种场景识别方法、训练方法、装置、电子设备及程序产品。

背景技术

场景识别是计算机视觉技术领域的一个重要分支，已广泛应用于各个领域。随着卷积神经网络(Convolutional Neural Network，简称CNN)在图像分类任务中的突出表现，越来越多的场景识别基于卷积神经网络实现。实际的室内场景中存在大量无关信息及干扰信息，因此对室内场景识别的研究具有重要意义。

在现有技术中，通常基于卷积神经网络模型对获取到的待识别场景的彩色图像与深度图像分别进行全局特征提取，并采用级联处理或元素级别的加法实现上述两种图像的融合，得到多模态特征进而得到场景识别结果。

然而，现有方法中忽略了待识别场景的彩色图像与深度图像的局部特征以及两种图像之间的语义差异，导致场景识别的准确度低。

发明内容

本发明实施例提供一种场景识别方法、训练方法、装置、电子设备及程序产品，以解决现有方法中忽略了待识别场景的彩色图像与深度图像的局部特征以及两种图像之间的语义差异，导致场景识别的准确度低的技术问题。

第一方面，本发明实施例提供一种场景识别方法，所述方法包括：

获取待识别场景的彩色图像与深度图像；

利用特征提取算法对彩色图像与深度图像分别进行特征提取，获得彩色图像对应的第一全局特征与第一局部特征，以及深度图像对应的第二全局特征与第二局部特征；

对所述第一全局特征、第二全局特征、第一局部特征以及第二局部特征进行融合，得到待识别场景的多模态特征；

对所述待识别场景的多模态特征进行场景识别，得到所述待识别场景的识别结果。

在一种可能的实施方式中，所述利用特征提取算法对彩色图像与深度图像分别进行特征提取，获得彩色图像对应的第一全局特征与第一局部特征，以及深度图像对应的第二全局特征与第二局部特征，包括：

对所述彩色图像和所述深度图像分别进行基于卷积的特征提取，得到所述彩色图像的第一高维特征与所述深度图像的第二高维特征；

分别对所述第一高维特征与第二高维特征进行特征变换，得到所述彩色图像的第一全局特征和所述深度图像的第二全局特征；

基于空间注意力机制对所述第一高维特征和所述第二高维特征分别进行特征压缩及映射，得到所述第一局部特征和所述第二局部特征。

在一种可能的实施方式中，所述基于空间注意力机制对所述第一高维特征和所述第二高维特征分别进行特征压缩及映射，得到所述第一局部特征和所述第二局部特征，包括：

利用空间注意力算法对所述第一高维特征和第二高维特征分别进行计算，得到第一高维特征对应的空间注意力图以及第二高维特征对应的空间注意力图；

对第一高维特征对应的空间注意力图和第二高维特征对应的空间注意力图分别进行沿通道方向的特征映射，得到所述第一局部特征和第二局部特征。