[发明专利]基于分层的排序机器学习模型

说明书

技术领域

本文中所讨论的实施方式涉及基于分层的排序(HBS)机器学习模型。

背景技术

机器学习是一种形式的人工智能，其用于使计算机能够基于经验数据来逐渐形成行为。机器学习可以利用训练示例以捕获这些示例的未知的隐含的概率分布的感兴趣的特征。训练数据可以被视为示出了所观测变量之间的关系的示例。机器学习研究的主要焦点在于：自动学习以识别复杂的模式并且基于数据做出智能的决策。

机器学习的一个主要困难在于下述事实：给定所有可能的输入，所有可能的行为的集合太大，以致于不能被训练数据的集合所覆盖。因此，机器学习模型必须从训练数据中进行归纳，以便能够在新的案例中产生有用的输出。

机器学习的一个示例为传统的结构化预测(SP)。传统的SP是一种针对依赖性输出的单模型方法。利用SP，一旦指定输入特征向量x，则可以完全地指定单个正确的输出向量z。因此，给定输入特征向量x，输出向量z完全以输入特征向量x为条件，并且输出向量z(z₁,z₂，…)的不同输出分量有条件地彼此独立。因此，给定x的z₁的概率等于给定x和z₂的z₁的概率，或者p(z₁|x)＝p(z₁|x，z₂)。然而，传统的SP不能处理不同输出分量之间的相互依赖关系。另外，传统的SP不能处理针对给定输入具有多个正确的输出决策的问题。

本文中要求保护的主题不限于解决任何缺点或者仅在例如上述那些的环境中操作的实施方式。而是，该背景仅被提供用于示出其中可以实践本文中所描述的一些实施方式的一个示例技术。

发明内容

总体上，本文中所描述的示例实施方式涉及采用基于分层的排序(HBS)机器学习模型来预测多输出依赖性(MOD)输出决策的多个相互依赖的输出分量的方法。本文中所公开的示例方法可以用于解决MOD问题。

在一个示例实施方式中，一种方法包括：采用机器学习模型来预测MOD输出决策的多个相互依赖的输出分量。

在另一示例实施方式中，一种方法包括：采用机器学习模型来预测多输出依赖性(MOD)输出决策的多个相互依赖的不同类型的输出分量。在该示例中，所述采用包括：使用输入来预测所述输出分量中的第一输出分量；以及使用与在预测所述输出分量中的所述第一输出分量时所使用的相同的输入并且使用所述输出分量中的所述第一输出分量来预测所述输出分量中的第二输出分量。在该示例中，所述方法可以产生多个正确的MOD输出决策，并且所述多个正确的MOD输出决策中的每一个可以具有基本上相似的输出值。

在另一示例实施方式中，一种采用HBS机器学习模型来预测MOD输出决策的多个相互依赖的输出分量的方法包括：确定针对MOD输出决策的多个相互依赖的输出分量的次序。所述方法还可以包括：按照所选择的次序来顺序地训练针对每个分量的分类器，以基于输入并且基于任何之前的所预测的分量来预测所述分量。

在另一示例实施方式中，一种采用HBS机器学习模型来预测MOD输出决策的多个相互依赖的输出分量的方法包括：选择针对MOD输出决策的多个相互依赖的不同类型的输出分量的次序；以及按照所选择的次序来顺序地训练针对所述输出分量中的每个输出分量的分类器，以使用与在训练一个或更多个其他分类器中的所有分类器时所使用的相同的输入并且使用任何之前的所预测的输出分量来预测所述输出分量。在该示例中，每个分类器可以包括多层感知(MLP)神经网络、另外的多层神经网络、决策树或者支持向量机。