[发明专利]信息预测模型的训练方法、装置、设备及存储介质

说明书

本申请适用于人工智能技术领域，尤其涉及一种信息预测模型的训练方法、装置、设备及存储介质，其中方法包括：基于训练数据集，通过特征提取网络分别对第一模态训练数据及第二模态训练数据进行特征提取，生成特征向量，将所有的特征向量进行特征融合后输入至第一信息预测模型中预测得到目标信息，将第一模态训练数据的特征向量输入至第二信息预测模型中，得到输出的第二模态的预测数据，并将预测数据与第二模态训练数据进行比对，得到数据差异；基于数据差异及目标信息进行模型梯度反向传播，得到训练后的信息预测模型。该方案使训练后的模型能够基于多模态信息进行信息融合，提升信息预测评估的有效性。

技术领域

本申请属于人工智能技术领域，尤其涉及一种信息预测模型的训练方法、装置、设备及存储介质。

背景技术

信息预测评估在现实生活中有广泛应用，例如用户健康状态评估在医疗健康中的应用、生物繁衍预测评估在农业领域的应用等。

以用户健康状态评估为例，通过信息预测评估可以辅助用户在不去医院使用医疗仪器进行检测的情况下，实现仅基于一些随时可得的信息判断用户健康状态，对于推广健康评估日常化有重大意义。

但在信息预测评估中，通常可获得的用户信息是多种模态的，比如用户临时拍摄的视频、图像等视觉信息，用户自己选择的性别年龄等文本信息，基于传感器检测的心率血压等时序信息等。目前大多算法采用的是基于单一模态信息进行评估或分别基于不同的单一模态信息进行评估后由具备一定相关知识的人员综合各评估结果进行用户健康预测。

因此，如何综合多个模态信息，更有效地进行信息的融合实现信息预测评估，是有待解决的问题。

发明内容

本申请实施例提供了一种信息预测模型的训练方法、装置、设备及存储介质，以解决现有技术中如何综合多个模态信息，进行信息融合实现有效信息预测评估的问题。

本申请实施例的第一方面提供了一种信息预测模型的训练方法，包括：

获取训练数据集，所述训练数据集中包括第一模态训练数据及与所述第一模态训练数据具有信息预测关系的第二模态训练数据；

基于所述训练数据集，通过特征提取网络分别对所述第一模态训练数据及所述第二模态训练数据进行特征提取，生成特征向量；

将提取出的所述特征向量进行特征融合后输入至第一信息预测模型中，预测得到目标信息；

将所述第一模态训练数据的特征向量输入至第二信息预测模型中，得到输出的第二模态的预测数据，并将所述预测数据与所述第二模态训练数据进行比对，得到数据差异；

基于所述数据差异及所述目标信息进行模型梯度反向传播，更新所述特征提取网络及所述第一信息预测模型的模型参数，得到训练后的信息预测模型。

本申请实施例的第二方面提供了一种信息预测模型的训练装置，包括：

获取模块，用于获取训练数据集，所述训练数据集中包括第一模态训练数据及与所述第一模态训练数据具有信息预测关系的第二模态训练数据；

特征提取模块，用于基于所述训练数据集，通过特征提取网络分别对所述第一模态训练数据及所述第二模态训练数据进行特征提取，生成特征向量；

信息预测模块，用于将提取出的所述特征向量进行特征融合后输入至第一信息预测模型中，预测得到目标信息；

差异获取模块，用于将所述第一模态训练数据的特征向量输入至第二信息预测模型中，得到输出的第二模态的预测数据，并将所述预测数据与所述第二模态训练数据进行比对，得到数据差异；

模型训练模块，用于基于所述数据差异及所述目标信息进行模型梯度反向传播，更新所述特征提取网络及所述第一信息预测模型的模型参数，得到训练后的信息预测模型。