[发明专利]检测不可推理的数据

说明书

一种检测不可信推理的数据。提供了一种方法、系统和程序产品标识多个模型以测试数据集的方法。多个模型中的每一个模型产生对应于多个目标中的一个目标的多个预测中的一个预测。该方法、系统和程序产品响应于对照多个模型中的每个模型而测试数据集来检测该多个预测之间的一个或多个冲突。所述方法、系统和程序产品响应于检测到所述一个或多个冲突而报告测试的不可推理的结果。

背景技术

人工智能使用机器学习算法来基于样本数据(训练数据)以构建模型，以对主题做出预测或决定，而不被显式地编程为对该主题做出预测或决定。机器学习算法被用于各种各样的应用中，在这些应用中开发常规算法以执行所需任务是困难或不可行的。

机器学习模型的精确度等级基于其“真肯定”、“真否定”、“假肯定”以及“假否定”。真肯定是其中机器学习模型正确地预测肯定类别的结果。真否定是其中机器学习模型正确地预测否定类别的结果。假肯定是其中机器学习模型不正确地预测肯定类别的结果。并且，假否定是其中机器学习模型不正确地预测否定类别的结果。

当机器学习模型生成假肯定结果时，机器学习模型可能试图预测不可预测的结果，在本文中称为“不可推理的”。需要机器学习模型来预测特定结果，即使预测具有低置信度。当系统使用多个机器学习模型来达到最终结果时，用户不能够区分不同机器学习模型的各个结果与随后生成假肯定最终结果之间是否存在冲突。尽管存在变通方案(诸如，创建“其他”类别的结果)，但是这些方法不在二进制分类中起作用。

发明内容

根据本公开的一个实施例，提供方式，其中方法、系统和程序产品标识多个模型以测试数据集。多个模型中的每个模型产生对应于多个目标中的一个目标的多个预测中的一个预测。该方法、系统和程序产品响应于对照多个模型中的每个模型来测试数据集来检测该多个预测之间的一个或多个冲突。所述方法、系统和程序产品响应于检测到所述一个或多个冲突，报告测试的不可推理的结果。

根据本公开的另一实施例，提供了方式，其中方法、系统和程序产品由模型中的第一模型生成对应于多个目标中的第一目标的强第一预测。该方法、系统和程序产品由模型中的第二模型生成对应于多个目标中的第二目标的强第二预测。然后，响应于确定第一目标不同于第二目标，方法、系统和程序产品生成不可推理的结果。

根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品基于第一平均值加上对应于第一模型的第一概率曲线上的两个标准差面积来确定强第一预测，并且基于第二平均值加上对应于第二模型的第二概率曲线上的两个标准差面积来确定强第二预测的方法。

根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品基于训练数据集来构建多个模型。该方法、系统和程序产品针对多个模型中的每个模型来计算多个模型评估度量中的一个模型评估度量，该模型评估度量测量多个模型中的一个模型的性能。然后，该方法、系统和程序产品基于多个模型的对应的模型评估度量，从多个模型中选择(K个)模型子集，其中，K个模型包括重要特征集。

根据本公开的又一实施例，提供方式，其中方法、系统和程序产品将对应于K个模型的重要特征集进行排序。方法、系统和程序产品基于排名标识独特特征集。对于独特特征集中的每个独特特征集，方法、系统和程序产品选择独特特征集中的一个独特特征集，并且移除训练数据的、对应于所选择的独特特征的部分。方法、系统和程序产品在训练数据的子集上测试K个模型中的每个模型，该训练数据的子集排除训练数据的所移除的部分。该方法、系统和程序产品将所选择的K个模型指定为S个模型集中的一个模型，并且在数据集的测试期间，利用S个模型集来检测一个或多个冲突。

根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品确定该S个模型集中的每个S模型的置信度阈值。方法、系统和程序产品然后利用置信度阈值来确定多个预测中的一个或多个预测是否是强预测。