[发明专利]QoS感知强化学习预防入侵系统

权利要求书

1.一种网络节点(16)，被配置用于执行与通信系统(10)中的多个无线设备WD(22)相关联的网络路由，所述网络节点(16)包括处理电路(36)，所述处理电路(36)被配置为：

从控制平面收集与多个图相关联的多个图状态，所述多个图中的每个图具有与所述多个WD(22)中的一个WD相关联的至少一个图节点；以及

基于所收集的多个图状态，使用自学习确定至少一个动作以更新所述多个图中的至少一个图中的至少一个路由；

使所述网络节点(16)向控制器发送所述至少一个动作，以用于指示至少一个WD(22)基于所述至少一个动作来更新至少一个网络路由。

2.根据权利要求1所述的网络节点(16)，其中，所述自学习至少部分地基于服务质量参数。

3.根据权利要求1和2中任一项所述的网络节点(16)，其中，所述多个图状态包括流表和度量，所述度量包括传输延迟、分组丢失率和队列延迟中的至少一个。

4.根据权利要求1至3中任一项所述的网络节点(16)，其中，所述自学习包括以下中的任一项：

进入预热阶段，包括：

探索所述多个图状态作为自学习优化网络路由的基本事实；

进入产生阶段，包括：

利用所述预热阶段探索的多个图状态；以及

确定多个动作，包括用于更新至少一个图中的至少一个路由的所述至少一个动作。

5.根据权利要求4所述的网络节点(16)，其中，所述自学习还包括以下中的任一项：

监视所述多个图中的至少一个图的拓扑；

当至少一个WD(22)已经从所述至少一个图中移除或被添加到所述至少一个图中时，进入所述预热阶段或继续所述预热阶段；以及

当至少一个WD(22)尚未从所述至少一个图中移除或尚未被添加到所述至少一个图中时，进入所述产生阶段或继续所述产生阶段。

6.根据权利要求1至5中任一项所述的网络节点(16)，其中，所述自学习还包括以下中的任一项：

针对每个图节点，选择描绘图快照的随机状态和随机多个动作；以及

基于所导出的质量值，使用概率策略来评估所选择的随机状态和随机多个动作。

7.根据权利要求6所述的网络节点(16)，其中，所述自学习还包括：

基于所述随机多个动作的成本、所选择的随机状态、总传输延迟、队列延迟和总分组丢失率来确定奖励；

确定未来状态和未来动作；

基于所导出的质量值来评估动作选择策略；

通过评估所述奖励的影响以及所述未来状态和所述未来动作如何与所选择的随机状态和随机多个动作进行比较，学习另一质量值；

用所述未来状态更新当前状态，并且用所述未来动作更新当前动作；以及

捕获总质量值确定收敛。

8.根据权利要求7所述的网络节点(16)，其中，更新所述当前状态和所述当前动作包括：选择作为另一图节点的父节点的图节点，所述选择至少基于所导出的质量值。

9.根据权利要求1至8中任一项所述的网络节点(16)，其中，所述控制器在所述控制平面中，所述至少一个WD(22)在数据平面中，并且发送所述至少一个动作触发所述WD(22)更新所述至少一个网络路由。

10.根据权利要求1至9中任一项所述的网络节点(16)，其中，所述多个图是多个面向目的地的有向无环图DODAG。

11.根据权利要求1至10中任一项所述的网络节点(16)，其中，所述通信系统(10)包括无线传感器网络(24)，所述网络路由是在所述无线传感器网络(24)中的低功率和有损网络的路由协议RPL中执行的基于服务质量QoS感知的路由，所述网络节点(16)是到所述无线传感器网络(24)的边界路由器，并且所述无线传感器网络(24)是IPv6低功率无线个域网SD6LowPAN网络。