[发明专利]一种基于端到端业务性能指标的智能网络故障定位方法

权利要求书

1.一种基于端到端业务性能指标的智能网络故障定位方法，其特征在于，包括以下步骤：

(1)、构建端到端业务性能指标向量作为强化学习的初始状态s₀

若网络能实现时钟同步技术获取到端到端业务的单向时延时，采用有向图的构建方式：将每个业务流发送端到接收端的时延以及接收端返回到发送端的时延作为端到端业务性能指标向量的元素，同时，将加上n个三位二进制数，n为有向链路数，用以表征每条链路的检测状态，其中，第一位为1表示未检测，为0表示已检测，第二位为1表示检测为故障，为0表示未检测/检测为正常，第三位为1表示检测为正常，为0表示未检测/检测为故障，初始状态时，n个三位二进制数均为[1 0 0]，这样构建出一个2d+3n长度的端到端业务性能指标向量并作为强化学习的初始状态s₀，d为业务流数量，j＝1,2,…,d；

若网络只能获取到端到端业务的往返时延时，采用无向图的构建方式：将每个业务流端到端的往返时延A_j作为端到端业务性能指标向量的元素，同时，将加上n个三位二进制数，n为链路数，用以表征每条链路的检测状态，其中，第一位为1表示未检测，为0表示已检测，第二位为1表示检测为故障，为0表示未检测/检测为正常，第三位为1表示检测为正常，为0表示未检测/检测为故障，初始状态时，n个三位二进制数均为[1 0 0]，这样构建出一个d+3n长度的端到端业务性能指标向量并作为强化学习的初始状态s₀；

初始化状检测次数t＝0；

(2)、发送动作a_t到环境，检测并给予奖励

将从网络即环境中获取的状态s_t输入智能决策模块中智能体，输出动作a_t即需要检测的链路为第i条，并且每次所需要检测的链路不会与之前的重复，然后智能体将决策即动作a_t发送至环境即将第i条链路两端路由器的INT功能打开检测其是否发生故障，并根据检测结果给予奖励r_t：

a)、决策动作正确，即检测的链路为故障：

i.已经定位所有故障链路：r_t＝E-t*B，B0，En*B；

ii.未定位所有故障链路：r_t＝C，C0；

b)、决策动作错误，检测的链路为正常：r_t＝-D，D0；

其中，已经定位所有故障链路是指所有用户反馈时延低于正常时延阈值，未定位所有故障链路是指存在用户反馈时延高于正常时延阈值，E、B、C、D为常数项，根据具体实施网络进行确定；

(3)、更新状态s_t为状态s_t+1

a)、决策动作正确，即检测的链路为故障：

将状态s_t中第i条链路对应的三位二进制数修改为[0 1 0]，将所有流经第i条链路的业务流的时延设置为正常链路时延；

b)、决策动作错误，检测的链路为正常：

将状态s_t中第i条链路对应的三位二进制数修改为[0 0 1]；

通过更新状态s_t得到状态s_t+1；

(4)、构建训练数据

构建一条训练数据s_t,a_t,r_t,s_t+1，并放入经验回放池，t＝t+1，返回步骤(2)，直到已经定位所有故障链路；

(5)、训练智能体

用经验回放池的训练数据对智能决策模块中智能体进行训练，训练好的智能决策模块中智能体用于故障定位；

(6)、故障定位

当需要进行新的故障定位时，用训练好的智能决策模块中智能体，进行步骤(1)，并每次令t＝t+1，重复步骤(2)、(3)，直到定位所有故障链路。