[发明专利]模型训练方法、图像理解方法、装置、介质与电子设备

说明书

本公开提供一种用于图像理解的模型训练方法、图像理解方法、装置、存储介质与电子设备，涉及人工智能技术领域。该模型训练方法包括：获取样本图像以及样本图像对应的第一文本，通过解析第一文本得到第一文本对应的第一标签；利用图像标签识别模型输出样本图像对应的第二标签，根据第二标签的组合生成样本图像对应的第二文本；将样本图像和第二文本映射为相同模态的信息，通过对映射后的样本图像和第二文本进行匹配以确定第一损失函数值；基于第一标签和第二标签确定第二损失函数值；根据第一损失函数值和第二损失函数值更新图像标签识别模型的参数。本公开有利于提高图像理解的准确性与全面性。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种用于图像理解的模型训练方法、图像理解方法、装置、存储介质与电子设备。

背景技术

图像理解是计算机图像处理中较高层次的任务，是指从语义层面上研究图像中的对象、对象之间的关系、图像场景等，使得计算机能够像人类一样理解图像。

相关技术中，图像理解的准确性有待提高。

发明内容

本公开提供一种用于图像理解的模型训练方法、图像理解方法、用于图像理解的模型训练装置、图像理解装置、计算机可读存储介质与电子设备，以至少在一定程度上提高图像理解的准确性。

根据本公开的第一方面，提供一种用于图像理解的模型训练方法，包括：获取样本图像以及所述样本图像对应的第一文本，通过解析所述第一文本得到所述第一文本对应的第一标签；利用图像标签识别模型输出所述样本图像对应的第二标签，根据所述第二标签的组合生成所述样本图像对应的第二文本；将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值；基于所述第一标签和所述第二标签确定第二损失函数值；根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数。

根据本公开的第二方面，提供一种图像理解方法，包括：获取经过训练的图像标签识别模型；其中，所述图像标签识别模型是根据第一损失函数值和第二损失函数值更新所述图像标签识别模型的参数而训练得到；所述第一损失函数值是将样本图像和第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配所确定的；所述第二损失函数值是基于第一标签和第二标签所确定的；所述第一标签是通过解析所述样本图像对应的第一文本所得到的；所述第二标签是利用所述图像标签识别模型输出的所述样本图像对应的图像标签，所述第二文本是根据所述第二标签的组合所生成的；利用所述图像标签识别模型处理目标图像，以输出所述目标图像的图像标签。

根据本公开的第三方面，提供一种用于图像理解的模型训练装置，包括：样本数据获取模块，被配置为获取样本图像以及所述样本图像对应的第一文本，通过解析所述第一文本得到所述第一文本对应的第一标签；图像标签识别模块，被配置为利用图像标签识别模型输出所述样本图像对应的第二标签，根据所述第二标签的组合生成所述样本图像对应的第二文本；第一损失函数值确定模块，被配置为将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值；第二损失函数值确定模块，被配置为基于所述第一标签和所述第二标签确定第二损失函数值；参数更新模块，被配置为根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数。

根据本公开的第四方面，提供一种图像理解装置，包括：模型获取模块，被配置为获取经过训练的图像标签识别模型；其中，所述图像标签识别模型是根据第一损失函数值和第二损失函数值更新所述图像标签识别模型的参数而训练得到；所述第一损失函数值是将样本图像和第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配所确定的；所述第二损失函数值是基于第一标签和第二标签所确定的；所述第一标签是通过解析所述样本图像对应的第一文本所得到的；所述第二标签是利用所述图像标签识别模型输出的所述样本图像对应的图像标签，所述第二文本是根据所述第二标签的组合所生成的；图像标签识别模块，被配置为利用所述图像标签识别模型处理目标图像，以输出所述目标图像的图像标签。