[发明专利]一种分类模型的训练方法及其装置、计算机服务器

权利要求书

1.一种应用分类模型的物体分类方法，其特征在于，包括：

构建初始分类模型，所述初始分类模型包含物体分类任务相同的至少两个单模态分类模型，其中不同的单模态分类模型对应不同的模态数据类型，该模态数据包括图像、视频、语音、文字中的至少一种，分别用于表征同一个物体的不同特征，且每个单模态分类模型对应的模态训练数据集包含有标签训练数据和无标签训练数据；

基于对齐每个单模态分类模型的模态训练数据集中的有标签训练数据和无标签训练数据的特征编码分布的方法，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练，得到目标分类模型，以根据该目标分类模型进行物体分类；

其中，每个单模态分类模型包含特征编码器以及分别与所述特征编码器级联的分类器和判别器，所述判别器用于判断所述特征编码器输出的特征编码来源于有标签训练数据或无标签训练数据。

2.根据权利要求1所述的方法，其特征在于，所述判别器的输出端设置有用于对所述判别器进行训练的第一损失函数和用于所述特征编码器进行训练的第二损失函数，所述第一损失函数和第二损失函数对抗设置；

采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行训练以得到目标分类模型，具体包括：

采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练；

将训练得到的分类模型中各单模态分类模型中的判别器删除。

3.根据权利要求2所述的方法，其特征在于，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练，具体包括：

对所述初始分类模型进行多次以下迭代训练：

针对每个单模态分类模型，从所述单模态分类模型的模态训练数据集中获取一个训练数据输入到所述单模态分类模型的特征编码器中，并根据所述单模态分类模型的分类器的损失函数的取值对所述单模态分类模型中的特征编码器和分类器的参数进行调整；以及，基于所述单模态分类模型的第一损失函数的取值和第二损失函数的取值对该单模态分类模型的判别器和特征编码器的参数进行调整；

基于参数调整后的初始分类模型，进行下一次迭代训练。

4.根据权利要求2所述的方法，其特征在于，所述至少两个单模态分类模型的特征编码器还分别连接到同一个跨模态判别器上，所述跨模态判别器用于判别各单模态分类模型的特征编码器输出的特征编码对应的模态类型，在跨模态判别器的输出端设置有用于对跨模态判别器进行训练的第三损失函数和用于对各单模态分类模型中的特征编码器进行训练的第四损失函数，所述第三损失函数和第四损失函数对抗设置；

所述方法还包括：将训练得到的分类模型中的跨模态判别器删除。

5.根据权利要求4所述的方法，其特征在于，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练，具体包括：

对所述初始分类模型进行多次以下迭代训练：

针对每个单模态分类模型，从单模态分类模型对应的模态训练数据集中获取一个训练数据输入到该单模态分类模型的特征编码器中，并根据该单模态分类模型的分类器的损失函数的取值对该单模态分类模型中的特征编码器和分类器的参数进行调整；以及，基于所述单模态分类模型的第一损失函数的取值和第二损失函数的取值对该单模态分类模型的判别器和特征编码器的参数进行调整；

基于第三损失函数的取值和第四损失函数的取值对跨模态判别器和各单模态分类模型的特征编码器的参数进行调整；

基于参数调整后的初始分类模型，进行下一次迭代训练。

6.根据权利要求5所述的方法，其特征在于，基于第三损失函数的取值和第四损失函数的取值对跨模态判别器和各单模态分类模型的特征编码器的参数进行调整，具体包括：

根据跨模态判别器对各单模态分类模型的特征编码器输出的特征编码进行判别后的第三损失函数的取值，调整所述跨模态判别器的参数；

基于参数调整后的跨模态判别器对各单模态分类模型的特征编码器输出的特征编码进行重判别后的第四损失函数的取值，调整各单模态分类模型的特征编码器的参数。