[发明专利]一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法

权利要求书

1.一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，包括如下步骤：

步骤(1)、构建电压电弧混沌时间序列数据集；

步骤(2)、对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数；

步骤(3)、构建基于注意力机制的LSTM模型；

步骤(4)、训练模型并对验证集进行预测，得到模型相关参数和评价指标；

步骤(5)、使用贝叶斯优化方法根据相关参数与评价指标进行优化；

步骤(6)、取得优化后的参数并对模型进行更新迭代；

所述步骤(1)中构建电压电弧混沌时间序列数据集的具体方法如下：

1、依据UL1699、GB14287.4标准搭建实际用电线路模拟平台，用示波器和电流传感器分别对电压、电流进行实时检测和采样得电弧电压原始时间序列T；

2、将采集到的电弧电压原始时间序列T进行归一化预处理，将序列处理为一个均值为0，方差为1的标准时间序列

其中x_i为归一化处理后的标准时间序列，T_i为原始时间序列T中i时刻的数据，E_T为原始时间序列T的均值，σ为原始时间序列T的标准差；

所述步骤(2)中对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数的具体方法为：

1、对归一化之后的电弧电压混沌时间序列{x_i|i＝1,2,…,N}使用基于Takens原理的坐标延迟法进行相空间重构：

其中τ表示延迟时间；m表示嵌入维数；N表示混沌时间序列长度；X表示对时间序列重构之后的相空间；

2、在针对含噪电弧电压混沌时间序列进行相空间重构时，选择C-C法计算值作为初始值，并基于C-C关联积分联合算法求取给定时间序列的τ和m；

其中C-C关联积分为：

其中M＝N-(m-1)τ，N为采样点数，M为重构可得相点数；r为空间距离；τ为延迟时间；m为嵌入维数；C(m,N,r,τ)为关联积分；X_i，X_j为相空间X中的两个不同相点，且两个不同相点之间的距离采用∞-范数计算；θ为Heaviside单位函数，当两个不同相点X_i，X_j之间的无穷范数小于等于设定的r时，函数值为1，否则为0；

3、按照如下给出的等量关系可得不同延迟时间τ对应的值和S_cor值，其中，表示τ取所有不同值时的最大偏差量的平均值，S_cor为求最优时间窗口的统计量；的第一个极小点即为所求的最佳延迟时间τ_opt，S_cor的全局最小点即为最优延迟时间窗口τ_W；

ΔS(m,τ)＝max{S(m,r_i,τ)}-min{S(m,r_i,τ)}

其中，S(m,N,r,τ)为离散时间序列统计量；Len为第s个子列中的数据个数；C_s(m,L,r,τ)为第s个子序列的关联积分；为嵌入维数为1时第s个子序列的关联积分的m次方；S(m,r,τ)为S(m,N,r,τ)处于N→∞的情况下的简化；S(m,r_i,τ)为第i个r下计算所得的值；ΔS(m,τ)为计算r取不同值时S(m,r,τ)的最大偏差量；计算不同m和r时S(m,r,τ)的平均值；用于计算不同m时ΔS(m,τ)的平均值；

4、最后依据等式τ_W＝(m_opt-1)τ_opt可得出最佳嵌入维数m_opt；

所述步骤(3)中构建基于注意力机制的LSTM模型的方法如下：

构建基于注意力机制的LSTM模型；在LSTM模型中引入三个门，分别为输入门、遗忘门和输出门，通过门的开闭和记忆单元的更新，赋予了网络可变的记忆长度；其中输入门用于更新单元值，信号经过遗忘门通过神经元激活函数可以有选择的保留有用的信号，输出门作为隐层状态用于下一个单元的输入；

所述步骤(4)中训练模型并对验证集进行预测，得到模型相关参数和评价指标的方法如下：

1、将步骤(2)中相空间重构之后的混沌时间序列X划分为训练数据TrainSet和测试集TestSet，将TrainSet输入LSTM模型中训练；其中LSTM模型采用BPTT反向传播算法进行训练，损失函数使用平均平方误差

其中N为输入模型样本个数；y_pred为模型预测值；y_i为标签值；

2、再取得用于测试的电弧电压混沌时间序列TestSet，使用训练得到的LSTM模型对输入数据进行预测，得到预测结果为y_pred，使用MSE计算并记录模型的预测误差；

所述步骤(5)中使用贝叶斯优化方法根据相关参数与评价指标进行优化的步骤如下：

1、根据贝叶斯定理估计目标函数的后验分布，通过对未知目标函数过去的评估结果建立替代函数，找到下一个最小化目标函数值的超参数组合：

其中，f表示模型的损失函数，D表示已观测到的参数和观测值集合，P(f|D)表示f的后验概率，P(f)表示f的先验概率，P(D|f)表示y的似然分布，P(D)表示f的边际似然分布；

其中，

D＝{(x₁,y₁),(x₂,y₂),…,(x_t,y_t)}，

其中，x_t表示一组所需优化的时间延迟参数和嵌入维数参数，y_t表示评价结果；

2、在使用贝叶斯优化时，高斯过程作为概率代理模型、Excepted Improvement作为采样函数用于贝叶斯优化中的概率代理模型和采样函数，其中；

高斯过程的核心包括一个均值函数μ(x)和一个半正定协方差函数k(x,x)，高斯分布表示为

f(x)～GP(μ(x),k(x,x))

其中μ(x)＝E(f(x)),E(f(x))是f(x)的数学期望，f(x)表示平均绝对误差，k(x,x)表示x的协方差函数,GP为高斯过程；

3、对从模型中获取已计算的历史信息D_1:t＝{x_1:t,f_1:t},其中x_1:t＝{x_i|i＝1,2,3…,t}；f_1:t＝{f_i|i＝1,2,3…,t}；f_t＝f(x_t)，f_t为x_t的平均绝对误差；所要计算的下一个目标为x_t+1，则协方差矩阵K记为：

根据高斯过程的性质，f_t和f_t+1都服从联合高斯分布，假设其均值为0，则联合高斯分布表示为：

其中k表示为：

k＝[k(x_t+1,x₁)·k(x_t+1,x₂)…k(x_t+1,x_t)]

k为x_t+1与历史信息D中1到t时刻x的各个协方差矩阵的乘积，k^T为k的转置，k(x_t,x_t)为t时刻x的协方差函数；

通过求其边缘密度，可以得到f_t+1的后验概率：

其中，N表示符合高斯分布，μ_t(x_t+1)表示通过x_t+1估计f_t+1符合高斯分布的期望，表示通过x_t+1估计f_t+1符合高斯分布的协方差阵；

其中μ_t(x_t+1)和的计算公式分别如下：

μ_t(x_t+1)＝k^TK^-1f_1:t

在高斯过程计算出f(x)的均值和方差之后，采用Excepted Improvement采样函数寻找最大改善期望的下一个样本点x_t+1，Excepted Improvement采样函数为：

其中Φ(·)为标准正态分布的概率密度函数，φ(·)为标准正态分布的分布函数，Z可表示为

其中σ(x)为标准差，f(x⁺)为目前为止最优的x的目标函数值。

2.根据权利要求1所述的一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，其特征在于：所述步骤(6)中取得优化后的参数并对模型进行更新迭代的方法为：

取得步骤(5)中基于最大改善期望的参数，并利用参数对含噪电弧电压混沌时间序列进行相空间重构，然后进行模型的迭代；当达到固定的选参次数时，停止迭代，找到一组最优参数。