[发明专利]信息预测模型的训练方法、装置、设备及存储介质

权利要求书

1.一种信息预测模型的训练方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括第一模态训练数据及与所述第一模态训练数据具有信息预测关系的第二模态训练数据；其中，所述第一模态训练数据包括：图像模态训练数据或时序模态训练数据；所述第二模态训练数据包括：文本模态训练数据；

基于所述训练数据集，通过特征提取网络分别对所述第一模态训练数据及所述第二模态训练数据进行特征提取，生成特征向量；

将所有的所述特征向量进行特征融合后输入至第一信息预测模型中，预测得到目标信息；所述第一信息预测模型用于预测用户的健康状态；

将所述第一模态训练数据的特征向量输入至第二信息预测模型中，得到输出的第二模态的预测数据，并将所述预测数据与所述第二模态训练数据进行比对，得到数据差异；

基于所述数据差异及所述目标信息进行模型梯度反向传播，更新所述特征提取网络及所述第一信息预测模型的模型参数，得到训练后的信息预测模型；

其中，所述将所述第一模态训练数据的特征向量输入至第二信息预测模型中，得到输出的第二模态的预测数据之前，还包括：

基于所述信息预测关系，确定与所述第一模态训练数据及所述第二模态训练数据相适配的信息预测功能，选取具备所述信息预测功能的目标模型作为所述第二信息预测模型；

其中，所述第二信息预测模型用于将第一模态的训练数据作为输入，输出第二模态的预测数据；

其中，结合模型训练任务背景进行模型结构构建和模型测试子任务的设置，其中，所述第二信息预测模型为基于所述信息预测关系设置的每一所述子任务中的信息预测模型。

2.根据权利要求1所述的训练方法，其特征在于，所述基于所述数据差异及所述目标信息进行模型梯度反向传播，更新所述特征提取网络及所述第一信息预测模型的模型参数，得到训练后的信息预测模型，包括：

基于所述数据差异，对所述特征提取网络进行梯度反向传播，更新所述特征提取网络中的参数；

基于所述目标信息进行模型梯度反向传播，更新所述第一信息预测模型及所述特征提取网络的模型参数；

获取包含参数更新后的所述特征提取网络及所述第一信息预测模型的训练后的所述信息预测模型。

3.根据权利要求1所述的训练方法，其特征在于，所述获取训练数据集，包括：

获取多模态的训练样本数据；

根据设定的模型训练主任务，从所述训练样本数据中选取至少一种所述第一模态训练数据及与所述第一模态训练数据具有信息预测关系的第二模态训练数据；

生成包含所述第一模态训练数据及所述第二模态训练数据的所述训练数据集。

4.根据权利要求1所述的训练方法，其特征在于，所述第一模态训练数据包括：图像模态训练数据或时序模态训练数据；所述第二模态训练数据包括：文本模态训练数据；

所述第一模态训练数据用于在作为信息预测模型的输入数据时，使所述信息预测模型输出所述第二模态的预测数据。

5.根据权利要求1所述的训练方法，其特征在于，所述基于所述训练数据集，通过特征提取网络分别对所述第一模态训练数据及所述第二模态训练数据进行特征提取，生成特征向量，包括：

获取特征提取网络集合；

从所述特征提取网络集合中选取与所述第一模态训练数据的模态相对应的第一特征提取网络及与所述第二模态训练数据的模态相对应的第二特征提取网络；

将所述第一模态训练数据输入至所述第一特征提取网络，将所述第二模态训练数据输入至所述第二特征提取网络，分别进行特征提取，生成所述特征向量。

6.根据权利要求1所述的训练方法，其特征在于，所述训练数据集和/或训练后的所述信息预测模型存储至区块链中。