[发明专利]用于训练混合模型的方法和设备

说明书

技术领域

本公开的实施例涉及机器学习领域，并且更具体地，涉及用于训练混合模型的方法和设备。

背景技术

随着信息技术的飞速发展，数据规模的增长十分迅速。在这样的背景和趋势下，机器学习受到越来越广泛的关注。聚类分析是机器学习领域重要的基础性问题，它将样本点划分到不同的簇中，使得特征相似的样本点在相同的簇中。此外，主成分分析(Principal Components Analysis,PCA)是一种重要的简化数据集的技术，其通常被用于降低数据的维度，同时保持数据集的对方差贡献最大的特征。针对具有高维度的数据流(简称高维数据流)而言，概率PCA混合模型(Mixture of Probabilistic Principal Components Analyzers,MPPCA)能够被用于对高维数据流进行聚类并且同时降低数据流的维度。此外，可以利用最大期望(expectation-maximization，EM)算法来训练MPPCA。

然而，MPPCA模型具有两个超参数(hyper-parameter)需要确定，一个超参数是样本点被划分到的簇的数目，另一个是经降维后的样本点的维度。EM算法本身不能确定这些超参数，需要借助交叉验证等技术手段，势必带来大量的计算开销。

发明内容

本公开的实施例提供了一种用于训练混合模型的方法和设备。

根据本公开的第一方面，提供了一种用于训练混合模型的方法。该混合模型包括多个子模型。该方法包括响应于接收到第一组数据，确定第一组数据相对于多个子模型间的第一分布。该方法还包括对第 一组数据进行降维，以确定经降维的第一组数据的第二分布。该方法还包括基于第一分布和第二分布来更新用于多个子模型的模型参数的第三分布。该方法还包括响应于在第一组数据之后接收到第二组数据，确定第二组数据相对于多个子模型间的第四分布。该方法还包括对第二组数据进行降维，以确定经降维的第二组数据的第五分布。此外，该方法还包括基于第四分布和第五分布来更新第三分布。

根据本公开的第二方面，提供了一种用于训练混合模型的设备。该设备包括至少一个处理单元。该至少一个处理单元，被配置为：响应于接收到第一组数据，确定第一组数据相对于多个子模型间的第一分布；对第一组数据进行降维，以确定经降维的第一组数据的第二分布；基于第一分布和第二分布来更新用于多个子模型的模型参数的第三分布；响应于在第一组数据之后接收到第二组数据，确定第二组数据相对于多个子模型间的第四分布；对第二组数据进行降维，以确定经降维的第二组数据的第五分布；以及基于第四分布和第五分布来更新第三分布。

根据本公开的第三方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有在其上存储的计算机可读程序指令。这些计算机可读程序指令用于执行根据以上第一方面所描述的方法的步骤。

本公开的实施例能够自动地确定经降维后的样本点的维度，从而减少了计算开销。本公开的实施例还通过正则化防止了模型参数的分布改变过大，从而提高了混合模型训练的鲁棒性。此外，本公开的实施例能够适用于数据集合和数据流两种应用场景。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开 示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的用于训练混合模型的一种架构100的框图；

图2示出了根据本公开的实施例的用于训练混合模型的方法200的流程图；

图3示出了根据本公开的实施例的用于更新针对多个子模型的模型参数的第三分布的方法300的流程图；

图4示出了根据本公开的实施例的用于训练混合模型的另一架构400的框图；以及

图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。

具体实施例

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。