[发明专利]一种基于状态投影的回声状态网络前向传播加速算法

说明书

本发明涉及机器学习领域，具体涉及一种基于状态投影的回声状态网络前向传播加速算法。本发明的目的在于针对回声状态网络(ESN)内部储备池占用存储空间大、前向传播计算速度慢的问题，提出一种加速ESN前向传播的算法。该算法基于适当正交分解(POD)的投影方法用低维状态近似替代ESN的高维状态，使网络前向传播计算量减少，加速网络前向传播。通过该算法生成的网络比原始ESN占用的存储空间小，具有较低的计算复杂度。生成的过程不需要原始的训练数据，只需要训练原始网络时对内部储备池单元的状态进行采样，利用这些事先存储的样本就可以生成用户指定大小的网络。

技术领域

本发明涉及机器学习领域，具体涉及一种基于状态投影的回声状态网络前向传播加速算法。

技术背景

回声状态网络ESN(Echo State Network)属于循环神经网络RNN(RecurrentNeural Network)，是专门处理时间数据的深层网络，是一种重要的基于存储计算的神经网络。ESN以其简单的结构和称为储层的大型内部复发拓扑结构而闻名。此外，与权重都可训练的普通RNN不同，只有ESN的输出权重可以使用线性回归方法进行训练，这避免了普通RNN训练中长期依赖的问题。由于结构简单和基于线性回归的训练过程，ESN在许多时间序列和非线性动力学系统建模应用中获得了广泛的应用。

经过训练后，将在应用中使用神经网络：该网络将获取输入数据并生成输出数据。这被称为评估(evaluation)过程，或者称为前向传播，因为信息从后面(输入端)流向前面(输出端)。ESN的评估速度是一个主要问题，因为许多基于ESN的应用程序需要快速的服务响应时间和/或部署在资源受限的设备上，例如移动电话、平板电脑、可穿戴设备等。然而，ESN通常需要占用较大的存储空间(大量的内部储备池神经元)，以便捕获训练数据中的复杂特征。如此大的储备池层将进一步减缓前向传播的计算速度。

为了加速深层网络的前向传播，已经进行了许多研究，其中大多数研究都集中在流行的前馈网络和卷积神经网络(CNN)上，方法是使用参数剪枝和低秩近似。

发明内容

本发明提供了一种基于状态投影的回声状态网络前向传播加速算法，它能加速ESN的前向传播。其占用的存储空间比ESN小，计算速度更快，计算复杂度更低。在常用的测试基准上的实验表明，本发明能够以良好的近似精度加速ESN的评估。

本发明采用以下技术方案解决上述问题：

步骤一，建立并训练回声状态网络模型。

步骤二，通过基于适当正交分解(POD)的投影方法用低维状态近似替代ESN的高维状态。这种状态近似加速了ESN的评估，因为在前向传播中将评估较小的状态。

使用本方法生成的网络精度与原始ESN相近，但尺寸更小，因此评估速度更快。它还继承了原始ESN的稳定性，并保持了良好的准确性。

具体实施方式

为了更好的阐述本发明的技术实施流程，下面将对各个技术部分进行更清晰的阐述。在本发明中所描述的实例只为一部分，不是全部适用的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本发明保护的范围。

本发明提供了一种基于状态投影的回声状态网络前向传播加速算法，具体步骤包括：

步骤一，建立并训练回声状态网络模型。具有n_in个输入、n_out个输出和n个内部变量的ESN可由以下离散时间k状态空间形式的非线性差分方程表示：