[发明专利]用于基于内核的机器学习的结构化正交随机特征

说明书

为使用内核对数据执行分类操作的基于内核的机器学习系统生成输入的技术涉及：根据称为结构化正交随机特征(SORF)的新框架生成针对高斯内核的无偏估计器。内核的无偏估计器K_SORF涉及使用矩阵对集合的乘积计算的线性变换矩阵W_SORF，每对矩阵包括正交矩阵和相应对角矩阵，其元素是遵循指定的概率分布的实数。通常，正交矩阵是Walsh‑Hadamard矩阵，指定的概率分布是Rademacher分布，并且至少有两对，通常是三对矩阵相乘，以形成线性变换矩阵W_SORF。

相关申请的交叉引用

本申请是于2017年10月25日提交的美国专利申请第15/793,455号的延续并要求其优先权，该美国专利申请要求于2016年10月26日提交的美国临时申请第62/413,011号的权益，其公开内容通过引用整体并入本文。

本申请要求于2016年10月26日提交的美国专利申请第62/413,011号的权益，其公开内容通过引用整体并入本文。

背景技术

许多系统使用大规模机器学习来完成诸如语音识别、计算机视觉、图像和声音文件搜索和分类等的挑战性问题。多层神经网络的深度学习是一种有效的大规模方法。例如高斯和多项式内核的内核方法也已用于较小规模的问题，但缩放(scaling)内核方法已证明具有挑战性。

发明内容

实现提供了一种对于高斯内核的紧凑、快速且准确的内核近似方法。这些实现根据称为结构化正交随机特征(SORF)的新框架生成针对高斯内核的无偏估计器。内核的无偏估计器K_SORF涉及使用矩阵对集合的乘积计算的线性变换矩阵W_SORF，每对矩阵包括正交矩阵和相应对角矩阵，其元素是遵循指定概率分布的实数。通常，正交矩阵是Walsh-Hadamard矩阵，指定的概率分布是Rademacher分布，并且至少有两对，通常是三对矩阵相乘，以形成线性变换矩阵W_SORF。

根据一个方面，一种为基于内核的机器学习系统生成输入的方法，所述基于内核的机器学习系统使用内核对数据执行分类操作，所述方法可以包括：由基于内核的机器学习系统的处理电路生成对角矩阵集合，所述对角矩阵集合中的每一个具有零的非对角元素和具有根据指定的概率分布函数分布的值的对角元素。所述方法还可以包括：由处理电路产生正交矩阵集合，所述正交矩阵集合中的每一个具有相互正交的行。所述方法还可以包括：对于对角矩阵集合中的每一个，由处理电路形成矩阵对集合，所述矩阵对集合中的每一个包括(i)该对角矩阵，以及(ii)所述正交矩阵集合中的相应正交矩阵。所述方法还可以包括：由处理电路生成所述矩阵对集合中的每一个的乘积以产生线性变换矩阵，所述线性变换矩阵是由基于内核的机器学习系统使用的内核的无偏估计器。

在附图和以下描述中阐述了一个或多个实现的细节。根据说明书和附图以及权利要求，其他特征将是显而易见的。

附图说明

图1图示了按照所公开的主题的示例电子环境。

图2图示了用于为基于内核的机器学习系统生成输入的示例处理的流程图，该基于内核的机器学习系统使用内核来对数据执行分类操作。

图3A图示示出了所公开的主题的益处的、对变化维度的高斯内核的各种近似的均方误差(MSE)的示例曲线。

图3B图示示出了所公开的主题的额外益处的、对变化维度的高斯内核的各种近似的均方误差(MSE)的额外示例曲线。

图4是示出了所公开的主题的额外益处的各种示例内核的各种近似的表。

图5是按照所公开的主题的用于将结构化正交随机特征与分类引擎一起使用的示例处理的流程图。

图6示出了可用于实现所描述的技术的计算机设备的示例。