[发明专利]图像分类方法、装置、电子设备和存储介质

权利要求书

1.一种图像分类方法，其特征在于，包括：

当检测到目标图像中对象部位缺失时，获取所述目标图像对应的目标文本；

对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征；

对所述目标图像的图像特征和所述目标文本的文本特征进行特征融合，得到目标融合特征；

根据所述目标融合特征对所述目标图像的场景进行识别，得到场景信息；

基于所述场景信息确定所述目标图像的图像类别。

2.如权利要求1所述的图像分类方法，其特征在于，所述对所述目标图像和所述目标文本进行特征提取，得到所述目标图像的图像特征和所述目标文本的文本特征，包括：

在特征提取层对所述目标图像和所述目标文本进行特征提取；

所述特征提取层包括图像子网络和文本子网络，所述在特征提取层对所述目标图像和所述目标文本进行特征提取，包括：

采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征；

采用训练好的文本子网络对所述目标文本进行文本特征提取，得到所述目标文本的文本特征。

3.如权利要求2所述的图像分类方法，其特征在于，所述在特征提取层对所述目标图像和所述目标文本进行特征提取之前，还包括：

获取预设模型，所述预设模型包括特征提取层、全连接层和输出层；

获取训练集，所述训练集包括训练图像和所述训练图像对应的训练文本；

基于所述训练图像训练所述预设的图像子网络，得到训练好的图像子网络；

基于所述训练文本训练所述预设的文本子网络，得到训练好的文本子网络；

采用所述训练好的图像子网络和所述训练好的文本子网络，对所述训练图像和所述训练文本进行特征提取，得到所述训练图像的图像特征和所述训练文本的文本特征；

基于所述训练图像的图像特征和所述训练文本的文本特征训练预设的全连接层和输出层，得到训练好的全连接层和输出层。

4.如权利要求2所述的图像分类方法，其特征在于，所述训练好的图像子网络包括浅层特征提取层、采样层、深层特征提取层和池化层，采用训练好的图像子网络对所述目标图像进行图像特征提取，得到所述目标图像的图像特征，包括：

采用所述浅层特征提取层对所述目标图像进行浅层特征提取，得到浅层特征；

采用所述采样层对所述浅层特征进行采样，得到采样特征；

采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征；

采用所述池化层对所述深层特征进行池化，得到所述目标图像的图像特征。

5.如权利要求4所述的图像分类方法，其特征在于，所述采用所述采样层对所述浅层特征进行采样，得到采样特征，包括：

在所述浅层特征上移动采样区域，得到移动后采样区域，其中，所述移动后采样区域与移动前采样区域部分相交；

对所述浅层特征上的移动后采样区域进行采样操作，得到采样特征。

6.如权利要求4所述的图像分类方法，其特征在于，所述深层特征提取层包括多个子特征提取层，所述采用所述深层特征提取层对所述采样特征进行深层特征提取，得到深层特征，包括：

将当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行特征融合，得到融合特征矩阵；

将所述融合特征矩阵输入下一子特征提取层进行深层特征提取；

获取最后端子特征提取层输出的特征矩阵，得到深层特征。

7.如权利要求6所述的图像分类方法，其特征在于，所述将当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行特征融合，包括：

当当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵的维度不一致时，基于当前子特征提取层中预设的卷积层，对当前子特征提取层输出的特征矩阵进行卷积操作，以增加当前子特征提取层输出的特征矩阵的维度；

对增加维度后的当前子特征提取层输出的特征矩阵与前一子特征提取层输出的特征矩阵进行求和。