[发明专利]一种基于强化学习的智能电网虚假数据注入攻击检测方法

权利要求书

1.一种基于强化学习的智能电网虚假数据注入攻击检测方法，其特征在于，所述方法包括以下步骤：

步骤一：建立电网的一般线性模型，

步骤二：虚拟攻击获得样本，

步骤三：观察值获取，

步骤四：使用ε贪婪策略得到t时刻检测器动作a_t：

步骤五：使用Sarsa算法进行训练，

步骤六：重复步骤一到步骤五直到到达阶段最大检测时间T，或与中有a_s出现；

步骤七：重复步骤一到步骤六直到将总样本数E用尽，得到完整Q^d表与Q^s表；

步骤八：检测，判断系统是否受到直接虚假数据注入攻击；

步骤一：建立电网的一般线性模型：

x_t＝Ax_t-1+v_t    (1)

y_t＝Hx_t+w_t   (2)

其中x_t＝[x_1，t，…，x_n，t，…，x_N，t]为t时刻系统状态，x_n，t表示为t时刻第n个节点上的相角，N表示系统的总状态数；t时刻测量值表示为y_t＝[y_1，t，…，y_m，t，…，y_M，t]，y_m，t表示为t时刻第m个测量仪表的检测值，M表示总测量仪表值；为状态转移矩阵，为由电网拓扑结构决定的雅克比矩阵，表示实数集；表示t时刻系统噪声，表示过程噪声的方差，其值由系统决定，I_N表示N维单位矩阵；表示t时刻测量噪声，表示测量噪声的方差，其值测量设备决定，I_M表示M维单位矩阵；

步骤二：虚拟攻击获得样本：对于直接攻击可以使用式(3)获得受攻击的测量值，对于隐匿攻击可以使用式(4)获得受攻击的测量值，

式中a_t表示t时刻直接攻击的攻击向量，Hc_t表示隐匿攻击的攻击向量，由于H不会随着时间改变，因此使用c_t表示隐匿攻击攻击向量，a_t与c_t在样本训练中已知，在实际检测中未知，τ为系统受到攻击时间，表示阶跃函数，即当有t≥τ时

步骤三：观察值获取：计算测量值y_t与其估计值的残差模长，将其用作直接虚假数据注入攻击的检测，将当前检测值y_t与上一时刻的检测值y_t-1的残差模长作为隐匿虚假数据注入攻击的检测，使用阈值分割法对两个模值进行程度划分，分别得到直接虚假数据注入攻击即时观察值与隐匿虚假数据注入攻击即时观察值，使用滑窗法将两个即时观察值更新至观察值中，分别得到对应时间的直接虚假数据注入攻击观察值与隐匿虚假数据注入攻击观察值；

步骤四：使用ε贪婪策略得到t时刻检测器动作a_t：将系统划分为两个状态，分别为s_n系统未受到攻击与s_a系统受到攻击，将检测器动作也分为两个状态a_s为算法认为系统受到攻击发出警报，a_c表示算法认为系统未受到攻击不发出警报，在t时刻得到直接攻击检测观察值与隐匿攻击检测观察值使用贪婪策略基于直接虚假数据注入攻击检测的Q表Qⁿ与隐匿虚假数据注入攻击检测的Q表Q^s对检测器动作进行选择，ε贪婪策略即检测器以概率1-ε选择最优动作、以概率ε随机选择动作，ε每d步更新一次，更新公式如式(5)所示

ε＝max(ε-e^-1，ε_min)   (5)

式中e为当且已经进行使用的样本值，ε_min为人为设置的最小ε值；

步骤五：使用Sarsa算法进行训练，使用式(4)更新Q表，

式中含有上角标i的参数表示用于检测i类型攻击的参数，i＝n或s，即当i＝n时表示该参数用于检测直接攻击，当i＝s表示该参数用于检测隐匿攻击，Qⁱ为检测i类型攻击所需要的Q表，为t时刻用于检测i类型攻击的观察值，为t时刻得到后对于i类型攻击可以采取的动作，α为学习效率，γⁱ为针对i型攻击训练的贴现因数，为t时刻用于检测i型攻击的状态为动作为时的回报，其取值如式(7)所示，

式中r₀与b为预先确定的超前警报回报值与滞后警报回报值系数，为t时刻i类型检测的系统状态。