[发明专利]基于关键词的图像描述方法和装置、设备、介质

说明书

本发明实施例公开了一种基于关键词的图像描述方法和装置、设备、介质、程序，其中，方法包括：对图像进行关键词提取，得到至少两个对应所述图像的关键词；利用编解码网络，基于所述图像和所述至少两个关键词获得对应所述图像的至少两条描述语句。本发明上述实施例相比于现有技术中直接生成图像描述的方法，本发明实施例可以生成更多样、更全面的描述语句，并且由于具有关键词的导向作用，生成的描述语句更符合人类认知习惯。

技术领域

本发明涉及计算机视觉技术，尤其是一种基于关键词的图像描述方法和装置、设备、介质。

背景技术

自然语言是视觉理解的重要中间媒介，相比于一定数量的视觉分类，它可以为视觉场景提供更加自由和具体的描述。这就是图像描述生成任务相比于图像分类任务的优势所在，相应地，它也更加困难。

近年来，图像描述生成领域比较主流的方法是基于深度神经网络的编解码框架，目前效果最好的方法都是在多模态语言模型中直接以图像作为输入，生成语句作为图像描述的输出。

发明内容

本发明实施例提供的一种基于关键词的图像描述技术。

根据本发明实施例的一个方面，提供的一种基于关键词的图像描述方法，包括：

对图像进行关键词提取，得到至少两个对应所述图像的关键词；每个所述关键词用于在一个方面对所述图像进行描述，所述图像包括至少两个方面的语义信息；

利用编解码网络，基于所述图像和所述至少两个关键词获得对应所述图像的至少两条描述语句。

在基于本发明上述方法的另一个实施例中，所述对图像进行关键词提取，得到至少两个对应所述图像的关键词，包括：

利用关键词提取网络，对图像进行关键词判断，得到至少两个对应所述图像的关键词，所述关键词提取网络经过第二样本图像训练获得，所述第二样本图像标注有第二标注描述语句。

在基于本发明上述方法的另一个实施例中，所述关键词提取网络的训练方法，包括：

基于第二样本图像获得所述第二样本图像对应的至少两个关键词；

将所述第二样本图像输入所述关键词提取网络，基于关键词集合获得对应所述第二样本图像的至少两个预测关键词；所述神经网络为多标签分类网络，所述关键词集合包括至少两个关键词；

以所述第二样本图像对应的至少两个关键词为监督信息，结合所述预测关键词训练所述神经网络。

在基于本发明上述方法的另一个实施例中，所述基于第二样本图像获得对应所述第二样本图像的至少两个关键词，包括：

利用关键词提取算法，从所述第二样本图像对应的第二标注描述语句中获得至少两个关键词，每个所述第二标注描述语句对应至少一个关键词。

在基于本发明上述方法的另一个实施例中，将所述第二样本图像输入所述关键词提取网络，基于关键词集合获得对应所述第二样本图像的至少两个预测关键词，包括：

将所述第二样本图像输入所述关键词提取网络，得到概率向量；所述概率向量包括至少一个概率值，每个所述概率值与所述关键词集合中的一个关键词相对应；

从所述概率向量中获得至少一个大于或等于预设值的概率值，基于所述概率值从所述关键词集合中得到对应所述第二样本图像的至少两个预测关键词。

在基于本发明上述方法的另一个实施例中，所述编解码网络基于第一样本图像训练获得，所述第一样本图像标注有第一标注描述语句，所述第一标注描述语句对应所述第一样本图像的关键词。

在基于本发明上述方法的另一个实施例中，所述编解码网络的训练方法，包括：

基于第一卷积神经网络和长短期记忆模型构建初始编解码网络；