[发明专利]一种基于深度神经网络的高置信度的多选择学习方法

权利要求书

1.一种基于深度神经网络的高置信度的多选择学习方法，其特征在于，假设已知有N个独立同分布的数据集D，其属于C个类别；每个样本x_i有一个标签y_i，假设有M个专家网络，第m个网络对第i个样本给出的预测结果为模型的优化目标函数如下：

其中，l(·)为交叉熵损失函数，是多个侯选结果的聚合，w_i是选择网络对x_i的预测分布，为第i个样本选择第m个专家网络的指示函数，如果则表示第i个样本选择第m个专家网络；反之v_i表示第i个样本对应的指示函数向量，为w_i的第m个专家网络对应的权重；α，β为超参，根据数据集手工设定；

模型的结构分为两个部分：多个专家网络，选择网络；其中：

所述专家网络，由多层神经网络组成，所述多层神经网络为全连接网络、卷积神经网络或循环神经网络；其输入是原始数据本身；专家网络的主要功能是在指定任务上对数据进行预测；所述任务包括图像分类、图像分割；

所述选择网络，由多层神经网络组成，所述多层神经网络为全连接网络或卷积神经网络；其输入是原始数据或各个专家网络的高层语义特征，输出为一个one-hot的向量，该向量的长度就是专家网络的数量；如果该向量的某个位置为1，其他位置为0，那么说明对于给定的样本数据，选择网络认为该位置对应的专家网络是最准确的；

对于每个样本，它只用于优化对它预测最准确的那个模型；随着训练的迭代进行，每个网络逐渐成为某些数据子集上的专家，在这些数据上预测的准确率高。

2.根据权利要求1所述的基于深度神经网络的高置信度的多选择学习方法，其特征在于，通过在多个专家网络的高维特征层上构建一个选择网络，使得对于某些只需要一个准确预测的任务，通过多选择学习，从多样性较大的几个候选结果中选择一个最准确的；同时通过置信合页损失的帮助，防止每个模型对不属于它的领域内的样本给出过高的预测值；

其中，优化目标的实现依赖于损失函数的设计，所述损失函数分为三个部分：

(1)oracle损失函数，用于最大限度地减少损失最准确的模型；

(2)选择网络的损失函数，通过学习每个专家的可信度，生成准确预测的损失；该选择网络抑制非专家网络给出过高的预测值；

(3)置信合页损失函数，用于解决专家网络过度自信问题；合页损失是为聚合预测概率设置一个间距，使得预测的概率分布在正确类别上比错误类别具有更高的概率。

3.根据权利要求2所述的基于深度神经网络的高置信度的多选择学习方法，其特征在于，算法具体步骤如下：

步骤1：设计专家网络的网络结构和选择网络的网络结构，并进行参数随机初始化；

步骤2：从训练集中随机采样出一批样本记为S，对每个专家网络，将S作为输入进行前向传播；

步骤3：对于S中的每一个样本S_i，根据多个专家网络给出的预测，计算它们与真实标签的损失，然后选择预测损失最小的那个网络对应的损失累加到当前损失，如果第m个专家网络对S_i的损失最小，则否则同时计算选择网络给出的预测，并根据下面的损失函数计算置信合页损失：

步骤4：计算关于专家网络和选择网络的参数对应的梯度，并进行反向传播更新参数；

步骤5：重复步骤2、步骤3和步骤4，直到训练收敛。

4.根据权利要求3所述的基于深度神经网络的高置信度的多选择学习方法，其特征在于，步骤1中，专家网络采用ResNet或VggNet；选择网络则是加在这些专家网络的倒数第二个卷积层上；选择网络的前两层为卷积层，后面为全连接层，最后一层为softmax层；其中输出层的维度为专家网络的个数；所有网络的参数，包括卷积层和全连接层的参数，采用Xavier方法初始化。