[发明专利]一种任务预测方法及装置

说明书

本申请公开一种任务预测方法及装置；本申请与人工智能的机器学习领域相关，可以获取预设任务的至少两个模态的样本数据、以及至少两个模态的样本数据的样本标签；通过多模态网络对样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；通过多模态网络基于特征向量，确定预设任务的任务预测结果；获取预设任务的至少两个模态的相似度；基于相似度、任务预测结果以及样本标签，对多模态网络进行训练，以通过训练后的多模态网络进行任务预测；本申请可以提升多模态任务预测的准确率。

技术领域

本申请涉及人工智能领域，具体涉及一种任务预测方法及装置。

背景技术

在人工智能领域，为了通过网络模型更全面地进行任务预测，可以通过任务的多个模态的数据进行网络模型训练，任务的不同模态的数据之间天然的存在异质性差异，可以通过多模态融合的方式减弱这种异质性差异，比如，可以通过聚合融合的方式，先通过网络模型的子网络分别对不同模态的数据进行学习，然后在网络模型的某一位置将学习到的不同模态的数据信息进行特征融合。

在对现有技术的研究和实践过程中，本申请的发明人发现，在网络模型的某一位置将数据信息进行特征融合会对网络模型的训练过程产生不利影响，进而导致，基于聚合融合方式的训练后网络模型在进行多模态任务预测时准确率较低。

发明内容

本申请实施例提供一种任务预测方法及装置，可以提升多模态任务预测的准确率。

本申请实施例提供一种任务预测方法，包括：

获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；

通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；

通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；

获取所述预设任务的至少两个模态的相似度；

基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。

相应地，本申请提供一种任务预测装置，包括：

样本获取模块，用于获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；

特征提取模块，用于通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；

预测模块，用于通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；

相似度模块，用于获取所述预设任务的至少两个模态的相似度；

训练模块，用于基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。

在一些实施例中，获取模块可以包括确定子模块，其中，

确定子模块，用于基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度。

在一些实施例中，预设任务的至少两个模态包括第一模态和第二模态，确定子模块可以包括确定单元和计算单元，其中，

确定单元，用于确定目标样本数据对应的目标样本标签，所述目标样本数据包括第一模态目标样本和第二模态目标样本；

计算单元，用于计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，所述第一特征向量为所述第一模态目标样本的特征向量，所述第二特征向量为所述第二模态目标样本的特征向量。