[发明专利]图像分类方法、装置及终端

权利要求书

1.一种图像分类方法，其特征在于，所述方法包括：

通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；

通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；

将所述图像特征向量和文字特征向量融合，得到目标特征向量；

调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类；

其中，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：

将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；

将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

3.根据权利要求1所述的方法，其特征在于，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：

获取各样本图像；

针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；

将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

4.一种图像分类装置，其特征在于，所述装置包括：

确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；

向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；

融合模块，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；

调用模块，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类；

其中，所述向量生成模块包括：

分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；

索引值生成子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；

第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；

第二调用子模块，被配置为通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

5.根据权利要求4所述的装置，其特征在于，所述融合模块包括：

映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；

融合子模块，被配置为将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；

子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；

特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。