[发明专利]提升和矩阵分解

说明书

本公开提供了包括在计算机存储介质上编码用于呈现新的机器学习模型架构的计算机程序的方法、系统和装置。在一些方面中，方法包括获得具有多个训练样本的训练数据集，训练数据集包括特征变量和输出变量。使用训练数据集生成第一矩阵，第一矩阵是训练数据集的稀疏表示。生成第一矩阵可以包括生成数值特征的分类表示和分类特征的编码表示。方法进一步包括生成第二矩阵、第三矩阵和第四矩阵。然后，使用包括多个可调参数的向量表示第一矩阵的每个特征。通过使用损失函数、第四矩阵和第一矩阵的组合调整可调参数的值，机器学习模型可以学习。

背景技术

本说明书涉及处理数据和机器学习模型。

机器学习是一种人工智能，其旨在教导计算机如何学习和行动，而无需被明确编程。更具体地，机器学习是数据分析方法，该方法涉及建立和调整模型，这允许计算机可执行程序通过经验“学习”。机器学习涉及算法的设计，这些算法调整其模型以改善他们预测能力。这是通过首先使用结果(标签)是已知的历史数据(训练数据)训练机器学习模型来实现的，这被称为监督学习。计算机可以在训练期间识别规则或关系，并且学习机器学习模型的学习参数。然后，使用新的输入，机器学习模型可以基于识别到的规则或关系生成预测。

发明内容

一般而言，本说明书中所描述的主题的一个创新方面可以被体现为方法，该方法包括以下操作：获得包括多个训练样本的训练数据集，其中，每个训练样本包括特征变量和一个或多个输出变量；使用训练数据集，生成第一矩阵，该第一矩阵是训练数据集的稀疏表示，其中，生成第一矩阵包括：基于特征变量中的每个数值特征变量来生成特征变量的分类表示；通过对每个分类特征变量进行编码，来生成特征变量中的每个分类特征变量的编码表示；对训练数据集的矩阵表示进行因数分解，以生成包括第二矩阵的一个或多个矩阵；使用(i)第二矩阵和(ii)正则化项来生成第三矩阵；基于(i)一个或多个矩阵或(ii)第三矩阵来生成第四矩阵；使用向量来表示第一矩阵的每个特征，该向量包括多个可调参数；以及使用(i)损失函数、(ii)第四矩阵和(iii)第一矩阵的组合来调整可调参数的值。

这个方面的其他实施方式包括相应的装置、系统和计算机程序，被配置为执行方法的方面并且在计算机存储设备上编码。这些和其他实施方式可以各自可选地包括以下一个或多个特征。

方法可以包括损失函数，该损失函数提供与以下形式的特定损失函数所提供的给定结果对应的结果：

其中，R是残差，y_i是输出变量，c是常数并且E是编码表示。

方法可以包括基于每个数值特征变量来生成特征变量的分类表示，该数值特征变量包括：选择节点集合；将数值特征表示为：(i)嵌入的加权和、或(ii)嵌入的加权平均值；使用插值技术来生成嵌入的对应权重；以及使用对应的权重来表示第一矩阵中的每个数值变量。

方法可以包括插值技术，该插值技术用于生成嵌入的对应权重，该嵌入包括样条插值。

方法可以包括生成训练样本中所包括的序数特征集合的分类表示，包括：对序数特征集合执行离散傅里叶变换(DFT)或离散小波变换(DWT)；以及至少部分地基于DFT或DWT变换矩阵，将分类表示分配给序数特征集合。

方法可以包括调整可调参数的值，包括迭代地生成序列模型，以预测损失函数的残差，直到损失函数的残差不能再减少、模型质量的度量满足质量阈值、或模型的大小已经达到了最大模型大小阈值。

方法可以包括进一步调整可调参数的值，可以进一步包括基于损失函数的导数生成伪残差。

方法可以包括训练，以在每个后续生成的模型的模型序列中预测先前生成的模型的组合残差值。

方法可以进一步包括调整可调参数的值，包括至少部分地基于设备训练或调用模型的内存约束，迭代地调整可调参数的值，直到模型的大小达到了模型大小阈值。