[发明专利]图像描述生成方法、模型训练方法、设备和存储介质

说明书

本发明公开了一种图像描述生成方法、模型训练方法、设备和存储介质，属于机器学习技术领域。所述方法包括：获取目标图像；生成目标图像的第一全局特征向量和第一标注向量集合；输入目标图像至匹配模型，通过匹配模型生成目标图像的第一多模态特征向量；匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型；根据第一多模态特征向量、第一全局特征向量和第一标注向量集合，生成目标图像的目标图像描述信息；通过训练得到的匹配模型生成目标图像的多模态特征向量，再将多模态特征向量输入至计算模型得到目标图像描述信息，达到了提高生成的图像描述信息的准确率的效果。

技术领域

本发明实施例涉及机器学习技术领域，特别涉及一种图像描述生成方法、模型训练方法、设备和存储介质。

背景技术

随着图像识别技术的发展，通过算法就能将图像的内容信息转化为图像的文字描述。

相关的一种图像描述生成方法包括：首先通过编码器，如特征提取模型，对获取到的目标图像进行编码，生成目标图像的全局特征向量和标注向量集合，然后输入目标图像的全局特征向量和标注向量集合至解码器，如计算模型，最后得到目标图像的描述信息。

相关技术提供的图像描述生成方法中，解码器的输入参数只包括目标图像的全局特征向量和标注向量集合，也即解码器的输入参数只包括目标图像的图像信息，容易导致生成的图像描述信息不够准确。

发明内容

为了解决现有技术中存在的问题，本发明实施例提供了一种图像描述生成方法、模型训练方法、终端和存储介质。技术方案如下：

根据本发明实施例的第一方面，提供一种图像描述生成方法，该方法包括：

获取目标图像；

生成所述目标图像的第一全局特征向量和第一标注向量集合；

输入所述目标图像至匹配模型，通过所述匹配模型生成所述目标图像的第一多模态特征向量；所述匹配模型为根据训练图像和所述训练图像的参考图像描述信息训练得到的模型；

根据所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合，生成所述目标图像的目标图像描述信息。

根据本发明实施例的第二方面，提供一种模型训练方法，用于训练如第一方面所述的所述匹配模型和计算模型，该方法包括：

获取训练图像的全局特征向量和标注向量集合，以及所述训练图像的参考图像描述信息的文本特征向量；

根据所述全局特征向量和所述文本特征向量训练匹配模型。

根据本发明实施例的第三方面，提供了一种生成设备，所述生成设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像描述生成方法。

根据本发明实施例的第四方面，提供了一种训练设备，所述训练设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第二方面所述的模型训练方法。

根据本发明实施例的第五方面，提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像描述生成方法。

根据本发明实施例的第六方面，提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第二方面所述的模型训练方法。