[发明专利]基于标签约束的多模态分类模型训练方法及装置

说明书

本发明公开了一种基于标签约束的多模态分类模型训练方法及装置，该方法包括：确定用于训练模型的目标模态的训练数据和对应的数据标签；将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。可见，本发明能够使得模型的特征提取更具标签区分度，进而使得模型的预测效果更好。

技术领域

本发明涉及算法模型训练技术领域，尤其涉及一种基于标签约束的多模态分类模型训练方法及装置。

背景技术

随着算法技术的发展，越来越多的企业开始利用算法模型来执行数据分类相关的数据预测任务，例如针对特定模态的数据预测其关联的类别或标签，这一类任务需要算法模型能够充分提取数据的特征并进行特征的处理。但现有技术在进行这类模型的训练时，没有考虑到引入标签和提取出的特征之间的差异度，因此无法在训练中有效提高模型提取得到的特征的区分度和标签的关联度，训练效果较差。可见，现有技术存在缺陷，亟待解决。

发明内容

本发明所要解决的技术问题在于，提供一种基于标签约束的多模态分类模型训练确定方法及装置，能够一方面使得模型的特征提取更具标签区分度，另一方面可以使得模型的预测效果更好。

为了解决上述技术问题，本发明第一方面公开了一种基于标签约束的多模态分类模型训练方法，所述方法包括：

确定用于训练模型的目标模态的训练数据和对应的数据标签；

将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；

将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；

将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。

作为一种可选的实施方式，在本发明第一方面中，所述目标模态包括音频模态、图像模态和文本模态中的至少一种；和/或，所述数据分类模型包括音频分类模型、图像分类模型和文本分类模型中的至少一种。

作为一种可选的实施方式，在本发明第一方面中，所述将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征，包括：

根据所述数据标签，生成包括有所述数据标签的标签文本；

将所述标签文本输入至训练好的标签分类模型，得到所述标签文本对应的标签特征；所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训练得到。

作为一种可选的实施方式，在本发明第一方面中，所述目标损失函数值包括有所述特征差异度以及所述数据分类模型输出的预测标签和所述数据标签之间的标签差异度。

作为一种可选的实施方式，在本发明第一方面中，所述目标损失函数值为所述特征差异度和所述标签差异度的加权求和值；所述特征差异度或所述标签差异度的权重用于缩小两者的数据值之间的大小差距。

作为一种可选的实施方式，在本发明第一方面中，所述标签差异度为交叉熵损失函数；和/或，所述特征差异度为KL散度。

作为一种可选的实施方式，在本发明第一方面中，所述标签分类模型为基于Transformer网络的分类模型。