[发明专利]一种深度强化学习驱动的网内缓存优化方法

说明书

本发明是一种深度强化学习驱动的网内缓存优化方法，首先通过智能地感知网络环境来对网络请求模式进行主动学习；然后计算出不同的最优缓存策略并分发给相应的路由节点执行；再由本地节点根据得到的策略做出缓存决策；结合主动式缓存和反应式缓存的优势，实现提高缓存命中率的最终目标。本发明引入深度强化学习算法来制定网内缓存策略，通过智能地感知网络环境来对网络请求模式进行主动学习，给相应的路由节点计算出不同的最优缓存策略，结合主动式和反应式缓存的优势，提高了缓存命中率。

技术领域

本发明设计网络技术领域，具体是一种深度强化学习驱动的网内缓存优化方法。

背景技术

根据如何评估网络内容的缓存价值，现有研究工作将内容缓存策略划分为三类，分别是基于内容流行度的缓存策略、基于概率的缓存策略和基于哈希的缓存策略。通常而言，以信息为中心的缓存策略本质上是基于内容流行度的缓存策略，它们通过评估请求的间隔或者最近一段时间内的请求次数来定义某个内容的流行程度，从而决定如何缓存。

基于内容流行度的缓存背后的思想是流行的内容将满足更多的内容请求。因此，应优先缓存流行度高的内容，而减少缓存流行度低的内容。例如，文献[1]提出要缓存的内容是根据请求的数量组织的，随着请求数量的增加，需要缓存的内容以指数形式增加，并且需要组织更多的节点协作缓存。需要缓存的内容从上游路由器推荐给下游路由器，如果下游路由器由于任何原因无法缓存内容，它只会忽略建议并将内容推荐给同一路径上的其他路由器。文献[2]基于深度学习技术，提出了面向信息中心的内容流行度预测机制。它利用交换机和控制器构建分布式可重构的深度学习网络。每个网络节点都参与收集这请求访问的时空联合分布数据。然后，将这些数据作为数据输入到堆叠式自动编码器(StackedAuto-Encoders，SAE)中，提取流行度的时空特征。最后，将内容流行度预测转化为分类问题，并使用SoftMax分类器实现内容流行度的预测。

基于概率的缓存策略根据一定的概率决定是否在节点上缓存某个内容。基于概率的目的有两个，一是增加缓存内容的多样性，二是减少因为不准确的流行度评估带来的影响。

基于哈希的缓存主要目的是增加网络的内容多样性以提高缓存的命中率。在这类型的方案中，缓存节点仅可以缓存特定的内容，一般基于哈希函数实现。因此，网络构成了一种合作缓存的形式。如果内容的哈希值属于传输路径上节点负责的范围，则将缓存该内容。否则，内容将转发到负责范围内的节点。例如[3]提出一种基于哈希路由的空间划分的协同内容缓存机制。该机制通过智能地划分内容空间并将分区分配缓存，并且能够约束哈希路由所产生的路径扩展问题。该机制将分区分配缓存的问题转化为最大化总命中率的优化问题，并提出一种启发式算法来解决，同时还将分区比例问题转化为最小最大线性优化问题来平衡缓存工作负载。

[1]K.Cho,M.Lee,K.Park,T.T.Kwon,Y.Choi,S.Pack,WAVE:Popularity-basedand collaborative in-network caching for content-oriented networks,inProc.IEEE INFOCOM WKSHPS,2012:316-321.

[2]W.Liu,J.Zhang,Z.Liang,L.Peng,J.Cai,Content popularity predictionand caching for ICN:A deep learning approach with SDN,IEEE Access,2017,6:5075-5089.

[3]S.Wang,J.Bi,J.Wu,A.V.Vasilakos,CPHR:In-network caching forinformation-centric networking with partitioning and hash-routing,IEEE/ACMTransactions on Networking,2015,24(5):2742-2755.