[发明专利]模型训练方法、图像理解方法、装置、介质与电子设备

权利要求书

1.一种用于图像理解的模型训练方法，其特征在于，包括：

获取样本图像以及所述样本图像对应的第一文本，通过解析所述第一文本得到所述第一文本对应的第一标签；

利用图像标签识别模型输出所述样本图像对应的第二标签，根据所述第二标签的组合生成所述样本图像对应的第二文本；

将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值；

基于所述第一标签和所述第二标签确定第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数。

2.根据权利要求1所述的方法，其特征在于，所述将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值，包括：

将所述样本图像、所述第一文本和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像、所述第一文本和所述第二文本进行匹配确定第一损失函数值。

3.根据权利要求2所述的方法，其特征在于，所述将所述样本图像、所述第一文本和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值，包括：

利用图像映射模型输出所述样本图像对应的样本图像特征信息；

利用文本映射模型输出所述第一文本对应的第一文本特征信息和所述第二文本对应的第二文本特征信息；所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息为相同模态的信息；

通过对所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息进行匹配以确定第一损失函数值。

4.根据权利要求3所述的方法，其特征在于，所述通过对所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息进行匹配以确定第一损失函数值，包括：

通过匹配所述样本图像特征信息与所述第一文本特征信息，以及匹配所述样本图像特征信息与所述第二文本特征信息，确定第一损失函数值；

在根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数时，所述方法还包括：

根据所述第一损失函数值和所述第二损失函数值更新所述图像映射模型和所述文本映射模型中的至少一者的参数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一标签和所述第二标签确定第二损失函数值，包括：

对比所述第一标签和所述第二标签，以确定所述第一标签中的缺失标签；所述第一标签中的缺失标签为所述第二标签中包含、所述第一标签中未包含的标签；

根据所述第一标签中的缺失标签更新所述第一标签；

基于更新后的所述第一标签和所述第二标签的差别，确定第二损失函数值。

6.根据权利要求1所述的方法，其特征在于，所述通过解析所述第一文本得到所述第一文本对应的第一标签，包括：

对多个第一文本进行分词，以得到候选词；

统计所述候选词在所述多个第一文本中的出现次数，根据统计结果从所述候选词中确定标签集；

将所述第一文本中属于所述标签集的词作为所述第一文本对应的第一标签。

7.一种图像理解方法，其特征在于，包括：

获取经过训练的图像标签识别模型；其中，所述图像标签识别模型是根据第一损失函数值和第二损失函数值更新所述图像标签识别模型的参数而训练得到；所述第一损失函数值是将样本图像和第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配所确定的；所述第二损失函数值是基于第一标签和第二标签所确定的；所述第一标签是通过解析所述样本图像对应的第一文本所得到的；所述第二标签是利用所述图像标签识别模型输出的所述样本图像对应的图像标签，所述第二文本是根据所述第二标签的组合所生成的；

利用所述图像标签识别模型处理目标图像，以输出所述目标图像的图像标签。