[发明专利]基于标签约束的多模态分类模型训练方法及装置

权利要求书

1.一种基于标签约束的多模态分类模型训练方法，其特征在于，所述方法包括：

确定用于训练模型的目标模态的训练数据和对应的数据标签；

将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；

将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；

将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。

2.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标模态包括音频模态、图像模态和文本模态中的至少一种；和/或，所述数据分类模型包括音频分类模型、图像分类模型和文本分类模型中的至少一种。

3.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征，包括：

根据所述数据标签，生成包括有所述数据标签的标签文本；

将所述标签文本输入至训练好的标签分类模型，得到所述标签文本对应的标签特征；所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训练得到。

4.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标损失函数值包括有所述特征差异度以及所述数据分类模型输出的预测标签和所述数据标签之间的标签差异度。

5.根据权利要求4所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标损失函数值为所述特征差异度和所述标签差异度的加权求和值；所述特征差异度或所述标签差异度的权重用于缩小两者的数据值之间的大小差距。

6.根据权利要求4所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述标签差异度为交叉熵损失函数；和/或，所述特征差异度为KL散度。

7.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述标签分类模型为基于Transformer网络的分类模型。

8.根据权利要求2所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述音频分类模型包括Speech Transformer模型和Conformer模型中的至少一种，和/或，所述图像分类模型包括CNN模型、ViT模型和CoTNet模型中的至少一种，和/或，所述文本分类模型包括BERT模型、XLNet模型和RoBERTa模型中的至少一种。

9.一种基于标签约束的多模态分类模型训练装置，其特征在于，所述装置包括：

数据确定模块，用于确定用于训练模型的目标模态的训练数据和对应的数据标签；

特征提取模块，用于将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；

标签处理模块，用于将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；

模型训练模块，用于将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。

10.一种基于标签约束的多模态分类模型训练装置，其特征在于，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的基于标签约束的多模态分类模型训练方法。