[发明专利]数据处理方法、装置及电子设备和存储介质

说明书

本申请实施例公开了一种数据处理方法、装置及电子设备和存储介质，如果目标数据集中第一图像和第一文本的第一相似度大于目标相似度，获得第一图像和第一文本的增强文本的第二相似度，如果第一文本的增强文本与第一图像的第二相似度大于第一相似度，将第一图像和第一文本的增强文本构成的图像文本对作为正样本添加到目标数据集中，如果第一文本的增强文本与第一图像的相似度小于第一相似度，将第一图像和第一文本的增强文本构成的图像文本对作为负样本添加到目标数据集中。

技术领域

本申请涉及机器学习技术领域，更具体地说，涉及一种数据处理方法、装置及电子设备和存储介质。

背景技术

目前的一些热门应用，如图文检索、通过文本生成图像等应用，通常是基于机器模型实现的，而机器模型通常是通过一对一的图像文本对训练得到的。但是在实际应用中，一张图像往往存在不同的语言描述与之匹配，或者，一段文本存在不同的图像与之匹配，因此，基于一对一的图像文本对训练得到的机器模型加大了对文本或图像在灵活性上的限制，从而损失了一定的特征提取准确度，导致机器模型的泛化能力较弱。

发明内容

本申请的目的是提供一种数据处理方法、装置及电子设备和存储介质，包括如下技术方案：

一种数据处理方法，所述方法包括：

如果目标数据集中第一图像和第一文本的第一相似度大于目标相似度，获得所述第一图像和所述第一文本的增强文本的第二相似度；

如果所述第二相似度大于所述第一相似度，将所述第一图像和所述增强文本构成的图像文本对作为正样本添加到所述目标数据集中，如果所述第二相似度小于所述第一相似度，将所述第一图像和所述增强文本构成的图像文本对作为负样本添加到所述目标数据集中，以获得扩充数据集。

上述方法，可选的，还包括：

获得所述目标数据集中的任一图像和任一文本的相似度，确定所述相似度是否大于所述目标相似度；

或者，

确定所述目标数据集中的任一图像和任一文本构成的图像文本对是否为正样本，如果是正样本，确定所述任一图像和所述任一文本的相似度大于所述目标相似度。

上述方法，可选的，所述目标数据集用于训练获得第一图文处理模型，所述第一图文处理模型通过如下方式训练得到：

通过所述第一图文处理模型对所述第一图像进行特征提取，得到所述第一图像的特征；

通过所述第一图文处理模型对所述第一文本进行特征提取，得到所述第一文本的特征；所述第一图像和所述第一文本构成正样本或负样本；

如果基于所述第一图像的特征和所述第一文本的特征获得的所述第一图像和所述第一文本的第一相似度大于所述目标相似度，获得通过所述第一图文处理模型对所述第一文本的增强文本进行特征提取，得到的所述第一文本的增强文本的特征；

如果基于所述第一图像的特征和所述第一文本的增强文本的特征获得的所述第一图像和所述第一文本的增强文本的第二相似度，大于所述第一图像和所述第一文本的第一相似度，将所述第一图像和所述第一文本的增强文本构成的图像文本对确定为正样本，如果所述第一图像和所述第一文本的增强文本的第二相似度，小于所述第一图像和所述第一文本的第一相似度，将所述第一图像和所述第一文本的增强文本构成的图像文本对确定为负样本；

以正样本中的图像和文本的相似度越来越大，负样本中的图像和文本的相似度越来越小为目标，对所述第一图文处理模型的参数进行更新。

上述方法，可选的，所述扩充数据集用于训练获得第二图文处理模型或第三图文处理模型，

所述第二图文处理模型通过如下方式训练得到：