[发明专利]人机回环交互式模型训练

说明书

描述了一种用于训练预测模型的方法，该方法增加了模型对终端用户的可解释性和可信赖性。从具有多个特征的数据中训练模型。每个特征都与真实值和时间分量相关。许多谓词(用于训练模型的原子元素)被定义为对特征(通常是特征的时间序列或其逻辑组合)进行操作的二元函数。谓词可以限于具有人类可理解性或相对于模型的预测任务的编码专家知识的那些函数。我们利用来自操作员或循环中的人类的输入来迭代地训练增强模型。随着模型被迭代地构建，循环中的人类被提供工具来检查模型，并移除模型中的一个或多个谓词，例如，如果谓词没有可信赖的标示，与模型的预测没有因果关系或不可理解。我们多次重复迭代过程，最后生成最终的增强模型。然后评估最终的模型，例如，准确性、复杂性、可信赖性和事后解释性。

优先权

本申请要求2017年8月30日提交的序列号为62/552,088的美国临时申请的优先权。

背景技术

本公开涉及机器学习领域，并且更具体地，涉及从基础数据训练预测模型的方法。

机器学习模型(例如，在健康科学中使用的、用于进行预测或建立预测性测试的神经网络模型)往往会遇到这样的问题，即终端用户(诸如，医师或医学研究人员)难以理解它们。缺乏对模型如何工作的理解导致对该模型缺乏信任。换句话说，这些模型不是“可解释的”，并且通常被认为是一些不可知的“黑匣子”。随着机器学习模型被越来越广泛地被采用来帮助像法官和医生这样的专家做出重要的决策，人们非常感兴趣确保这样的系统不仅仅是简单地准确的，还必须是可理解的并且逐渐灌输信任，这是通常被称为“可解释的”特性的集合。Z.Lipton,The Mythos of Model Intepretability,arXiv:1606.03490[cs.LG](2016年6月)。

在机器学习界，可解释性尚未就技术定义达成普遍共识，但一些人提出了以下属性：

·复杂性或模型大小。可以被人类完全理解的模型，例如，稀疏线性模型。另一种说法是，如果人类可以在合理的时间量内执行推理。这也被称为可模拟性。

·可理解的。模型如何考虑输入之间的明确关系，比如，决策树中的节点。这也被称为可分解性。

·训练透明度。训练方法(例如，凸优化)具有很好理解的属性，比如，用于训练线性模型的那些属性。

·事后的终端用户可解释性。也就是说，该模型允许对预测(比如，显著性地图(saliency map))或具有类似预测的情况的示例进行事后解释。

本公开提出了一种对这种问题的解决方法，即生成可解释模型。在这一方面，我们描述了一种生成可由终端用户解释的预测模型的方法。尽管本公开在电子健康记录的背景中提供了一种训练预测模型的方法的示例，但是它是以示例而非限制性的方式提供的，因为该方法可以用于希望为其他类型的终端用户生成更易于理解或解释的预测模型的其他情形。

发明内容

本公开涉及训练预测模型的计算机实施的方法，该预测模型对于终端用户是可解释的，并且与其他类型的模型(诸如，深度神经网络)相比，本质上更易于理解，因此更可信赖。有几个方面有助于实现这个目标，包括以人类可理解的形式表示模型中的“知识”，以及在模型训练过程中使用来自人类操作员或专家的输入。在所示的实施例中，模型中的知识是以人类可理解的谓词形式。该模型由谓词和权重的集组成。在模型训练中来自人类的输入允许取消选择为该模型提出的谓词，这些谓词被人类认为在该模型中是不可信的或不期望的。因此，整个模型是人类可以理解和修改的。由于谓词类型的灵活设计，该模型还具有非常理想的表现力。