[发明专利]基于预训练随机傅里叶特征核LMS的超参数优化方法

说明书

基于预训练随机傅里叶特征核LMS的超参数优化方法，它用于核自适应滤波器的超参数优化技术领域。本发明解决了为保证算法的精度性能以及降低算法计算复杂度，如何获取一组超参数值的问题。本发明在预训练集合的基础上，实现各维度下的随机傅里叶特征的性能评价，在最小均方误差准则下能够通过预训练得到的最小均方误差值确定最优维度下的一组傅里叶特征超参数取值集合，本发明的方法减少了达到精度条件所需的随机傅里叶特征的维度从而降低了复杂度，且在自适应滤波系统中提高被建模系统与随机傅里叶特征网络的耦合度，克服了超参数取值由于随机采样差异性带来的稳态性能不稳定的问题。本发明可以应用于核自适应滤波器的超参数优化技术领域用。

技术领域

本发明属于核自适应滤波器的超参数优化技术领域，具体涉及一种基于预训练随机傅里叶特征核LMS(Least Mean Square，最小均方算法)的超参数优化方法。

背景技术

核自适应滤波器是一种核学习方法和传统自适应滤波方法相结合的滤波技术。引入了将原始空间的非线性问题转化为高维特征空间的线性优化问题进行求解的思想。在非线性信号处理的多个领域(非线性系统辨识、非线性时间序列预测、回声消除等)广泛证实了其具有较好的非线性系统建模能力。

随机傅里叶特征核最小均方算法是基于核近似技术的一种核自适应滤波算法。其结构本质上是一种单层神经网络模型。核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅里叶特征方法通过近似高斯核得到显式的特征映射表达，从而得以通过迭代的权值网络进行计算，得到接近线性算法的计算复杂度。相比于Nystrom方法，基于随机傅里叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下，网络规模不会增长。

由Bochner理论可知，高斯核存在一个对应的概率分布p(w)，使得核函数存在无偏估计。为了保证得到实数化的特征，由cos(w′(x-y))近似替代e^jw′(x-y)。因此假设存在cos(w′(x-y))＝z_w(x)^Tz_w(y)，使得一组随机基满足z_w(x)＝[cos(w′x)sin(w′x)]。为了降低近似误差，进一步采用蒙特卡洛平均方法，即：

因此随机特征基可表示为：

其中蒙特卡洛样本服从独立同分布。当选择高斯核时，满足N(0,σ²I)。

实际工程应用当中，蒙特卡洛样本通过随机采样方法获取并直接用于随机傅里叶特征核最小均方算法的参数赋值。但是直接使用随机采样值会带来随机采样差异问题，如图1所示。

100次独立蒙特卡洛采样得到100组w样本集，通过训练随机傅里叶特征核最小均方算法继而得到训练和测试稳态均方误差。得到100组训练和测试稳态均方误差之间的差异值很大。因此，在工程应用中使用随机傅里叶特征核最小均方算法时，为了保证算法的精度性能以及降低计算复杂度，如何获取一组超参数值仍面临着极大的挑战。

发明内容

本发明的目的是为了解决为保证算法的精度性能和降低计算复杂度，如何获取一组超参数值的问题。

本发明为解决上述技术问题采取的技术方案是：

基于预训练随机傅里叶特征核LMS的超参数优化方法，该方法包括以下步骤：

步骤一、给定一组训练集x(i)代表第i组输入信号，d(i)代表第i组期望信号，M代表训练集样本量；从训练集中随机抽取P个样本，得到预训练集