[发明专利]一种图像分类方法、装置、终端设备和存储介质

说明书

本发明涉及图像处理技术领域，提出一种图像分类方法、装置、终端设备和计算机存储介质。在获取待分类图像之后，将该待分类图像输入预先构建的卷积神经网络模型，得到该待分类图像的图像特征；然后从预设的文本库中选取与该待分类图像对应的目标文本，将该目标文本转换为词向量，输入预先构建的循环神经网络模型，得到该目标文本的文本特征；接着结合该文本特征对该图像特征进行加权叠加处理，得到加权图像特征；最后采用双线性乘法融合该加权图像特征和该文本特征，利用融合后的特征完成两类分类，得到该待分类图像的图像类别。采用本发明能够解决高细粒度图像分类的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分类方法、装置、终端设备和计算机存储介质。

背景技术

图像分类是指根据图像信息所反映的不同特征，对不同类别的图像进行区分的图像处理方法，利用计算机对图像进行定量分析，将图像划归为若干个类别中的某一类，以代替人的视觉判断。目前，常用基于深度的神经网络模型来实现图像的分类，处理过程为：利用已知类别的样本图像训练神经网络模型，将待分类图像输入该神经网络模型，根据该神经网络模型的输出结果判定该待分类图像的类别。然而，在面对高细粒度图像分类(即两种不同类别图像之间的差异极小)问题时，采用上述图像分类方法无法获得准确的图像分类结果。

发明内容

有鉴于此，本发明实施例提供了一种图像分类方法、装置、终端设备和计算机存储介质，即使面对高细粒度图像分类的问题，也能够获得准确的图像分类结果。

本发明实施例的第一方面提供了一种图像分类方法，包括：

获取待分类图像，所述待分类图像的图像类别属于预设的多对图像类别组合中的一种，每对所述图像类别组合分别包含图像特征的差别小于预设阈值的两种图像类别，每对所述图像类别组合分别和预设的文本库中的一个文本关联，所述文本用于描述关联的图像类别组合中的两种图像类别之间的差异；

将所述待分类图像输入预先构建的卷积神经网络模型，得到所述待分类图像的图像特征，所述卷积神经网络模型由所述多对图像类别组合的样本图像训练完成；

从所述文本库中选取与所述待分类图像对应的目标文本；

将所述目标文本转换为词向量，输入预先构建的循环神经网络模型，得到所述目标文本的文本特征，所述循环神经网络模型由所述多对图像类别组合的样本图像以及所述文本库中的文本训练完成；

结合所述文本特征对所述图像特征进行加权叠加处理，得到加权图像特征；

采用双线性乘法融合所述加权图像特征和所述文本特征；

利用融合后的特征完成两类分类，得到所述待分类图像的图像类别。

本发明实施例的第二方面提供了一种图像分类装置，包括：

图像获取模块，用于获取待分类图像，所述待分类图像的图像类别属于预设的多对图像类别组合中的一种，每对所述图像类别组合分别包含图像特征的差别小于预设阈值的两种图像类别，每对所述图像类别组合分别和预设的文本库中的一个文本关联，所述文本用于描述关联的图像类别组合中的两种图像类别之间的差异；

图像输入模块，用于将所述待分类图像输入预先构建的卷积神经网络模型，得到所述待分类图像的图像特征，所述卷积神经网络模型由所述多对图像类别组合的样本图像训练完成；

文本选取模块，用于从所述文本库中选取与所述待分类图像对应的目标文本；

文本转换模块，用于将所述目标文本转换为词向量，输入预先构建的循环神经网络模型，得到所述目标文本的文本特征，所述循环神经网络模型由所述多对图像类别组合的样本图像以及所述文本库中的文本训练完成；

特征加权模块，用于结合所述文本特征对所述图像特征进行加权叠加处理，得到加权图像特征；