[发明专利]一种基于深度神经网络的高置信度的多选择学习方法

说明书

本发明属于机器学习技术领域，具体为一种基于深度神经网络的高置信度多选择学习方法。本发明方法中，提出了一个置信合页损失来解决专家网络过度自信的问题，防止非专家模型以高可信度进行不准确的预测；采用选择网络来学习每个专家网络的可信度，使得最终可以从多样性的预测结果这聚合一个更可靠的决策预测。本发明方法框架简单、使用方便、可扩展性强；在图像分类和图像语义分割的任务上进行实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。

技术领域

本发明属于机器学习技术领域，具体涉及一种基于深度神经网络的高置信度的多选择学习方法。

背景技术

在许多应用场景中如计算机视觉领域，语言理解和推荐系统等，人工智能的任务通常伴随着模糊性。人类通过各种类型的信息与世界交互。有时很难从数据的一面做出正确的认知。由于这种模糊性的存在，我们不能期望从一个模型中获得对于所有数据准确的预测。因此，研究人员建议生成多种合理的输出。这对于交互式智能系统，如图像分类和去噪和机器翻译等非常重要。生成多个合理的预测同时促进了解决方案的多样性。

要生成多种不同的预测，有两种类型方法。一个是训练模型并生成推理过程中的多重预测。通常，这类方法使用图模型生成结构化的输出。通过优化不同之间的差异解决方案，这些方法可以找到一组m-best配置。另一个是训练多个模型和聚合他们的预测产生最终输出。这样的方法专注于学习过程的设计。在第二种方法中，有些方法集成许多独立模型并收集它们的预测到一个候选集中。这些方法包括贝叶斯平均，Boosting和Bagging，经常比使用单个模型得到更好的结果，尤其是分类任务。集成学习方法通常独立训练所有嵌入式模型，因此它们的产出可能会获得较低的多样性。因此，多选择学习(MCL)建议在训练所有嵌入式模型时建立合作来克服这一缺陷，经过训练以后，每个模型成为一个特定数据子集的专家。并提出了oracle损失概念，其重点是一个为每个样本提供最准确预测的模型。

最近，(Lee等人，2016)采用了将深度神经网络应用于MCL并提出随机多选择学习(sMCL)训练各种深度集成模型。通过直接最小化oracle损失，sMCL的性能优于许多现有基准方法。但是，sMCL经常无法做出令人满意的最终决策，因为每个网络在其自己的预测中往往过于自信。因此，简单地通过平均来集成这些预测或投票将导致糟糕的最终预测。为了解决过度自信问题，(Lee等人.2017)提出采用置信MCL(CMCL)算法并提出一个新的损失函数，名为confident oracle损失。confident oracle损失在sMCL之后增加了一个oracle的损失最小化非专家模型的预测分布和均匀分之间的Kullback-Leibler距离。虽然CMCL提升了sMCL的集成结果的准确性，它在oracle错误率指标上表现不佳。这意味着CMCL的预测的多样性不如sMCL。

发明内容

针对以上现有技术中的问题，本发明的目的在于提出一种预测准确率高的基于深度神经网络的高置信度的多选择学习方法。

本发明提出的基于深度神经网络的高置信度的多选择学习方法，是一种新的MCL方法，称为多功能方法MCL(versatile Multiple Choice learning，简称vMCL)，该方法保存现有的MCL方法的优势，同时克服它们的缺点。具体而言，vMCL旨在维护预测结果的高度多样化，同时抑制过度自信问题。vMCL的要点：(1)提出了一个置信合页损失来解决专家网络(Expert Network)过度自信的问题，可以防止非专家模型以高可信度进行不准确的预测。(2)采用选择网络(Choice Network)来学习每个专家网络的可信度，使得最终可以从多样性的预测结果这聚合一个更可靠的决策预测。