[发明专利]模型确定方法、装置、电子设备和存储器

说明书

本公开提供了一种模型确定方法、装置、电子设备和存储器，涉及计算机技术领域，尤其涉及计算机视觉和深度学习领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取第一图像样本和第一文本样本；对第一图像样本和第一文本样本进行训练，得到第一目标模型，其中，第一目标模型学习到第一文本样本的局部特征；获取第二图像样本和第二文本样本，并基于第二图像样本和第二文本样本对第一目标模型进行训练，得到第二目标模型，第二目标模型学习到第二文本样本的全局特征；将第二目标模型确定为第三目标模型的初始化模型，初始化模型的训练效果低的技术问题。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习领域，可应用于图像处理、图像识别等场景，具体涉及一种模型确定方法、装置、电子设备和存储器。

背景技术

目前，对模型的预训练方案通常是采用一步训练法来进行实现，也即，将图像样本和文本样本直接输入至预训练网络来进行预训练任务，这样使得初始化模型的训练指标不高。

发明内容

本公开提供了一种模型确定方法、装置、电子设备和存储器。

根据本公开的一方面，提供了一种模型确定方法。该方法可以包括：获取第一图像样本和第一文本样本，其中，第一文本样本中的文本用于对第一图像样本中的目标图像进行文字描述；对第一图像样本和第一文本样本进行训练，得到第一目标模型，其中，第一目标模型学习到第一文本样本的局部特征；获取第二图像样本和第二文本样本，并基于第二图像样本和第二文本样本对第一目标模型进行训练，得到第二目标模型，其中，第二文本样本中的文本用于对第二图像样本中目标图像进行文字描述，第二目标模型学习到第二文本样本的全局特征；将第二目标模型确定为第三目标模型的初始化模型。

根据本公开的一方面，提供了另一种模型确定方法。该方法可以包括：向服务器发送模型训练请求，其中，模型训练请求包括第一图像样本和第一文本样本，其中，第一文本样本中的文本用于对第一图像样本中的目标图像进行文字描述；接收服务器响应模型训练请求而发送的初始化模型，其中，初始化模型为服务器基于第二图像样本和第二文本样本对第一目标模型进行训练得到，第一目标模型为服务器对第一图像样本和第一文本样本进行训练得到，第一目标模型学习到第一文本样本的局部特征，第二文本样本中的文本用于对第二图像样本中目标图像进行文字描述，初始化模型学习到第二文本样本的全局特征。

根据本公开的一方面，提供了另一种图像处理方法，包括：获取待处理图像；将待处理图像输入至第三目标模型中，其中，第三目标模型为根据本公开实施例的模型确定方法获得；获取第三目标模型的处理结果。

根据本公开的一方面，提供了一种模型确定装置。该装置可以包括：第一获取单元，用于获取第一图像样本和第一文本样本，其中，第一文本样本中的文本用于对第一图像样本中的目标图像进行文字描述；训练单元，用于对第一图像样本和第一文本样本进行训练，得到第一目标模型，其中，第一目标模型学习到第一文本样本的局部特征；处理单元，用于获取第二图像样本和第二文本样本，并基于第二图像样本和第二文本样本对第一目标模型进行训练，得到第二目标模型，其中，第二文本样本中的文本用于对第二图像样本中目标图像进行文字描述，第二目标模型学习到第二文本样本的全局特征；确定单元，用于将第二目标模型确定为第三目标模型的初始化模型。

根据本公开的一方面，还提供了另一种模型确定装置。该装置可以包括：发送单元，用于向服务器发送模型训练请求，其中，模型训练请求包括第一图像样本和第一文本样本，其中，第一文本样本中的文本用于对第一图像样本中的目标图像进行文字描述；接收单元，用于接收服务器响应模型训练请求而发送的初始化模型，其中，初始化模型为服务器基于第二图像样本和第二文本样本对第一目标模型进行训练得到，第一目标模型为服务器对第一图像样本和第一文本样本进行训练得到，第一目标模型学习到第一文本样本的局部特征，第二文本样本中的文本用于对第二图像样本中目标图像进行文字描述，初始化模型学习到第二文本样本的全局特征。