[发明专利]图像分类方法、装置及终端

说明书

本发明实施例提供了一种图像分类方法、装置及终端，其中所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。通过本发明实施例提供的图像分类方案，能够提升图像分类的准确性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像分类方法、装置及终端。

背景技术

深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得其在目标检测、分类等计算机视觉任务中所得预测结果的精度大幅提升。

目前对图像进行分类时，依据图像自身的特征在预定的标签体系下匹配得到图像对应的标签，依据标签确定图像所属的分类，所得分类结果准确性差。而在实际应用场景中，用户在上传一个图像之后，还会为该图像追加一段简单的文字描述，而这段文字描述对图像的分类而言，也具有一定的参考价值。可见，如何获取图像的全面信息，依据所获取的全面信息对图像进行分类以提升图像分类的准确性，是目前本领域技术人员成为待解决的问题。

发明内容

本发明实施例提供一种图像分类方法、装置及终端，以解决现有技术中存在图像分类结果准确性差的问题。

依据本发明的一个方面，提供了一种图像分类方法，所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

可选地，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

可选地，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

可选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

依据本发明的另一个方面，提供了一种图像分类装置，所述装置包括：确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；融合模块，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用模块，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。