[发明专利]一种通信网的深度学习驱动的流量优化机制

权利要求书

1.一种通信网的深度学习驱动的流量优化机制，基于SDN网络，其特征在于，将智能流量优化机制iTE的控制回路部署在SDN控制器中，iTE的控制回路包括三个组成部分：

(1)支持ICN的交换机部分；

网络中的ICN交换机，除了支持正常的名字路由功能外，增加带计数器的布隆过滤器来表示缓存内容的信息；同时，采用基于压缩感知的网内缓存感知机制收集缓存内容信息至控制器中；

(2)DRL环境部分；

由数据平面收集的网络信息和流量信息抽象成的DRL环境是SDN控制器中为DRL算法提供状态的输入，同时，监测网络和流量状态；

(3)并行决策模块部分；

并行决策模块是运行在SDN控制器中核心的执行流量优化算法的模块；该模块支持多个算法并行算路，并由最终决策模块按预定的策略规则从多个算法中选择最优的实施。

2.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，iTE控制回路工作流程如下：

(1)网络中ICN交换机将其缓存内容信息和可用的链路带宽上载到SDN控制器；

(2)环境模块将接收到的信息进行汇编和转换，作为PDM的输入；

PDM采用多个流量优化算法，其中基于DRL的算法，用于执行智能的流量优化决策；

(3)DRL智能体在与环境的交互中根据获得的奖励或惩罚，不断的学习以更加适应环境；

惩罚来自于犯错；网络生产流量不允许犯错；因此，使用PDM模块，客观评价各个算法的决定，屏蔽有可能带来不良影响的DRL决策；

(4)同时，最短路径算法、负载均衡算法的决策可以用来在线地训练DRL的模型；

(5)基于当前的环境和决策，DRL智能体从反馈中获得奖励，并对驻留在DRL智能体上的神经网络的参数进行调整。

3.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，

当SDN控制器中缓存内容信息被恢复后，流量优化应用需要迅速地定位内容请求需要的潜在缓存节点；在SDN控制器中，从全网ICN节点收集的缓存内容信息被组织形成一个m×n的二进制矩阵，其中，n是全网ICN节点的数量；假设iTE中用于构建布隆过滤器的哈希函数集是相同和预定义的，即，每个ICN节点使用相同的哈希函数构造其布隆过滤器；具体的定位过程为，当一个新的内容请求上传到SDN控制器时，将该请求的内容名字由预先定义的k个哈希函数散列，并返回k个位置；然后，在缓存内容信息矩阵中选择相应的k行，并将它们作为k个1×n的二进制向量；最后，让这些向量做布尔和运算；运算的结果比特位为1的位置，即指示着请求内容所缓存的ICN节点。

4.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，

ICN交换机将ICN流量优化问题建模为DRL学习问题，采用演员-评论家训练方法；AC方法分为两部分，包括训练Actor网络和Critic网络；Actor实际上就是使用策略梯度算法，该算法有利于在连续动作空间内选择合适的动作；这是因为基于值的RL学习方法无法适应连续的动作空间的场景，将会导致空间爆炸；但是又因为Actor方法是基于每回合更新的所以学习效率比较慢，所以提出可以使用一个value-based的算法作为Critic就可以实现单步更新；这样两种算法相互补充就形成了目前比较常用且高效的AC方法；iTE是面向大规模连续控制的网络流量优化问题，所以采用AC方法实现iTE的智能体，iTE智能体由状态空间、动作空间以及奖励或处罚组成。