[发明专利]图文语义对齐模型的弱监督自训练方法及装置

说明书

本发明公开了图文语义对齐模型的弱监督自训练方法及装置，包括：将图文数据输入图文语义对齐模型，以使图文语义对齐模型对图文数据进行分析得到分析结果，图文数据包括原始图像中的前景目标和弱标注文本中的关键词，弱标注文本用于描述原始图像；当分析结果表示图文数据中包含无法预测相应匹配对象的未知前景目标和未知关键词时，根据由未知前景目标和未知关键词确定出的样本数据集，对图文语义对齐模型进行训练。可见，实施本发明能够根据图文语义对齐模型无法进行图文语义对齐的前景目标和关键词来对模型进行训练，降低了样本标注的工作量，且实现了图文语义对齐模型的弱监督自训练，提高了图文语义对齐模型进行图文语义对齐的准确性和灵活性。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种图文语义对齐模型的弱监督自训练方法及装置。

背景技术

以往的图文语义对齐模型通常采用监督学习的方式进行训练，这就意味着如果需要图文语义对齐模型识别某个对象，必须根据这个对象的具体信息预先训练图文语义对齐模型。因此，采用监督学习的方式训练模型要求所有训练样本都带有用于表示样本类别的文本标签，导致样本标注的工作量较大，且训练得到的图文语义对齐模型无法预测未训练过的文本标签，从而降低了图文语义对齐模型进行图文语义对齐的准确性。

发明内容

本发明所要解决的技术问题在于，提供一种图文语义对齐模型的弱监督自训练方法及装置，能够降低样本标注的工作量，并使得图文语义对齐模型能够预测未通过监督学习训练过的文本标签，提高了图文语义对齐模型进行图文语义对齐的准确性和灵活性。

为了解决上述技术问题，本发明第一方面公开了一种图文语义对齐模型的弱监督自训练方法，所述方法包括：

将预先确定出的图文数据输入图文语义对齐模型中，以使所述图文语义对齐模型对所述图文数据进行分析，得到所述图文数据的分析结果，其中，所述图文数据包括从原始图像中检测到的至少一个前景目标以及从所述原始图像对应的弱标注文本中提取到的至少一个关键词，所述弱标注文本用于描述所述原始图像的图像信息，所述图文语义对齐模型用于预测文本标签对应的图像、图像对应的文本标签、图像和文本标签之间的匹配度中的一个或多个；

当所述分析结果表示所述图文数据中包含所述图文语义对齐模型无法预测相应匹配对象的至少一个未知前景目标以及所述图文语义对齐模型无法预测相应匹配对象的至少一个未知关键词时，根据由所有所述未知前景目标以及所有所述未知关键词确定出的样本数据集，对所述图文语义对齐模型进行训练，以使所述图文语义对齐模型可对所述样本数据集中任意样本数据的匹配对象进行预测，其中，所述前景目标的匹配对象包括所述前景目标对应的文本标签，所述关键词的匹配对象包括所述关键词对应的图像。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

将所有所述未知前景目标以及所有所述未知关键词进行随机一一配对处理，得到配对成功的至少一个样本图文对，每个所述样本图文对包括其中一个所述未知前景目标以及其中一个所述未知关键词；

将所有所述样本图文对确定为由所有所述未知前景目标以及所有所述未知关键词确定出的样本数据集。

作为一种可选的实施方式，在本发明第一方面中，在所述根据由所有所述未知前景目标以及所有所述未知关键词确定出的样本数据集，对所述图文语义对齐模型进行训练，以使所述图文语义对齐模型可对所述样本数据集中任意样本数据的匹配对象进行预测之前，所述方法还包括：

对于每个所述未知关键词，将该未知关键词添加至所述图文语义对齐模型对应的缓存池中，所述缓存池用于缓存所述图文语义对齐模型待训练的一个或多个待训练样本数据，所述待训练样本数据包括待训练的样本文本标签；

以及，所述方法还包括：