[发明专利]一种基于深度神经网络的高置信度的多选择学习方法

摘要

本发明属于机器学习技术领域，具体为一种基于深度神经网络的高置信度多选择学习方法。本发明方法中，提出了一个置信合页损失来解决专家网络过度自信的问题，防止非专家模型以高可信度进行不准确的预测；采用选择网络来学习每个专家网络的可信度，使得最终可以从多样性的预测结果这聚合一个更可靠的决策预测。本发明方法框架简单、使用方便、可扩展性强；在图像分类和图像语义分割的任务上进行实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。

主权项

1.一种基于深度神经网络的高置信度的多选择学习方法，其特征在于，假设已知有N个独立同分布的数据集D，其属于C个类别；每个样本x_i有一个标签y_i，假设有M个专家网络，第m个网络对第i个样本给出的预测结果为模型的优化目标函数如下：其中，l(·)为交叉熵损失函数，是多个侯选结果的聚合，w_i是选择网络对x_i的预测分布，为第i个样本选择第m个专家网络的指示函数，如果则表示第i个样本选择第m个专家网络；反之v_i表示第i个样本对应的指示函数向量，为w_i的第m个专家网络对应的权重；α，β为超参，根据数据集手工设定；模型的结构分为两个部分：多个专家网络，选择网络；其中：所述专家网络，由多层神经网络组成，所述多层神经网络为全连接网络、卷积神经网络或循环神经网络；其输入是原始数据本身；专家网络的主要功能是在指定任务上对数据进行预测；所述任务包括图像分类、图像分割；所述选择网络，由多层神经网络组成，所述多层神经网络为全连接网络或卷积神经网络；其输入是原始数据或各个专家网络的高层语义特征，输出为一个one‑hot的向量，该向量的长度就是专家网络的数量；如果该向量的某个位置为1，其他位置为0，那么说明对于给定的样本数据，选择网络认为该位置对应的专家网络是最准确的；对于每个样本，它只用于优化对它预测最准确的那个模型；随着训练的迭代进行，每个网络逐渐成为某些数据子集上的专家，在这些数据上预测的准确率高。