[发明专利]一种多态路由派生方法及系统

摘要

本申请公开了一种多态路由派生方法及系统，该方法包括对路由服务需求进行规范和描述，得到路由服务需求描述，根据路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策，然后求解马尔科夫决策过程模型，得到多态路由派生策略，根据多态路由派生策略组合基本路由功能单元，得到多态路由协议。本申请的方法实现了对不同的路由服务需求按照不同的路由派生策略，提供不同的路由协议，满足了多样化业务对网路路由功能的要求。

主权项

一种多态路由派生方法，其特征在于，包括：对路由服务需求进行规范和描述，得到路由服务需求描述；根据所述路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策；求解所述马尔科夫决策过程模型，得到多态路由派生策略；根据所述多态路由派生策略组合基本路由功能单元，得到多态路由协议；所述根据所述路由服务需求描述，建立马尔科夫决策过程模型，包括：定义系统状态：系统状态s定义为路由基本功能单元类；定义系统的状态空间：路由基本功能单元类的集合构成系统的状态空间S＝{s1，s2，s3...，sm}；定义系统的动作空间：动作空间A(s)是当前状态所对应的路由基本功能单元类所有基本路由功能单元的集合；定义转移概率：定义匹配度，匹配度MD表示所选择的路由基本功能单元与路由服务描述的匹配程度，转移概率为所选择的路由基本功能单元的匹配度与当前状态所对应的类中所有基本路由功能单元的匹配度总和之比，在系统所处的状态为sn，转移概率p(sn+1|sn,a)表示执行动作a(sn)到达状态sn+1的概率；定义奖赏函数：奖赏函数r(s,a)表示在状态s时执行动作a获得的奖励，奖赏函数r(s,a)定义为:r(s，a)＝ω1·fs(s，a)+ω2·fp(s，a)+ω3·fo(s，a)，其中fs(s,a)、fp(s,a)和fo(s,a)分别表示安全利益函数、性能利益函数和功能利益函数，w1、w2和w3分别表示权重因子；所述求解所述马尔科夫决策过程模型，得到多态路由派生策略，包括：使用增强学习方法求解所述马尔科夫决策过程模型，得到多态路由派生策略；所述增强学习方法为：步骤S1、初始化Q学习矩阵；步骤S2、设置学习周期；步骤S3、设置初始状态s0和终止状态sr；步骤S4、基于贪婪策略，从动作空间A(s)中选择并执行相应的动作a(s)；步骤S5、根据Q矩阵的定义更新Q矩阵；步骤S6、更新当前状态，判断当前状态是否为终止状态sr，如果是，执行步骤S7，否则执行步骤S4；步骤S7、判断是否达到设定的学习周期数，如果达到，则执行步骤S8，否则执行步骤S3；步骤S8、输出多态路由派生策略。