[发明专利]基于深度强化学习的文件缓存处理系统及方法、通信系统

说明书

本发明属于无线通信技术领域，公开了一种基于深度强化学习的文件缓存处理系统及方法、通信系统，所述基于深度强化学习的文件缓存处理方法包括以下步骤：缓存请求者的属性信息，每个请求缓存内容的大小和可利用的缓存资源的设备属性信息被移动基站收集，作为决策智能体的输入信息；决策智能体在设定时间范围内根据随机梯度下降方法和推演并设计缓存匹配的操作；输出一个最优的匹配，即具有最大的系统效益，分配缓存资源。仿真实验的数值结果表明，该算法可以有效地分配缓存资源，降低系统能耗，最大化系统效益。

技术领域

本发明属于无线通信技术领域，尤其涉及一种基于深度强化学习的文件缓存处理系统及方法、通信系统。

背景技术

目前，业内常用的现有技术是这样的：在5G网络中引入异构网络和端到端通信以提高通信速率并同时保证无缝覆盖。移动边缘计算是一种新的范例，通过在网络边缘部署计算和缓存资源来显着减少时延并避免回程网络拥塞。但是，由于时变无线信道，各种新兴应用的多样化和严格要求以及未知的流量系统，设计高性能算法以充分利用上述技术，是一个相当大的挑战，所以需要新方法来解决。由于人工智能可以促进智能资源管理，最新的研究，提出将AI与无线通信集成，以增强访问控制，计算和缓存资源分配以及信道分配，但是具体如何实施这一想法，有很多的瓶颈需要解决。此外，随着物联网设备的激增和网络规模的扩大，应用程序产生的数据量将呈指数增长。AI在利用这些数据进行深入的特征发现和事件预测方面具有很大的潜力。

综上所述，现有技术存在的问题是：由于时变无线信道，各种新兴应用的多样化和严格要求以及未知的流量系统，设计高性能算法以充分利用上述技术，是一个相当大的挑战，所以需要新方法来解决。

解决上述技术问题的难度：第一，如何实时地获取智能移动终端的可利用的缓存容量；第二，如何以一种最优的匹配方式，将缓存任务分配给具有可利用的缓存资源的智能移动终端；第三，如何并行执行缓存对匹配和带宽分配；第四，如何定义系统缓存效益函数、系统缓存成本函数。

解决上述技术问题的意义：最大化系统效益，使得空闲的智能移动设备的缓存资源得到高效地利用，减轻了基站端的缓存任务压力，减少了回程网络的通信成本，降低了时延，提高了用户体验。

发明内容

针对现有技术存在的问题，本发明提供了一种基于深度强化学习的文件缓存处理系统及方法、通信系统。

本发明是这样实现的，一种基于深度强化学习的文件缓存处理方法，所述基于深度强化学习的文件缓存处理方法包括以下步骤：

第一步，缓存请求者的属性信息，每个请求缓存内容的大小和可利用的缓存资源的设备属性信息被移动基站收集，作为决策智能体的输入信息；

第二步，决策智能体在设定时间范围内根据随机梯度下降方法和推演并设计缓存匹配和带宽分配的操作；

第三步，输出一个最优的匹配和带宽分配，即具有最大的系统效益，分配缓存资源。

进一步，所述基于深度强化学习的文件缓存处理方法进一步包括：

1)状态：S＝(Fm；Cn；Bn)，其中Fm表示文件m，Cn表示可用的缓存资源供应商n的缓存资源大小，Bn表示可用的缓存资源供应商n的带宽大小；移动基站将上述信息打包成一个状态，发送给决策智能体；

2)决策：A＝(x_mn；b_mn)，其中x_mn是二进制值，取0或1；b_mn是可利用的带宽大小；

3)奖励值：根据当前的状态和决策，决策智能体从环境中获得奖励值，奖励值的大小。