[发明专利]一种基于深度强化学习的网络资源调度方法及系统

说明书

本发明属于无线通信技术领域，公开了一种基于深度强化学习的网络资源调度方法及系统，所述基于深度强化学习的网络资源调度系统中人机交互显示平台与智能控制平台连接，智能控制平台与通信模块连接，通信模块与数据传输介质连接；数据传输介质为有线或者无线通信信道，智能控制平台基于深度强化学习算法对不同网络数据流传输任务的通信带宽进行调度，控制整个系统进行数据收发。本发明中，深度强化学习算法嵌入在智能控制平台中，可以更加灵活方便的实现不同的资源调度算法。由于该发明提出的基于深度强化学习网络资源调度算法，在与外界环境不断进行交互与学习，具有较好的自适应能力。

技术领域

本发明属于无线通信技术领域，尤其涉及一种基于深度强化学习的网络资源调度方法及系统。

背景技术

目前，在自组织网络系统中，通信节点具有移动性，且随着网络中节点数的增加，通信网络环境和质量在不断变化，导致通信网络的传输带宽变化剧烈。现有的网络资源调度策略主要适用于因特网、蜂窝网络等网络带宽资源丰富、网络拓扑结构稳定的情景，没有考虑自组织网络中节点移动和用户增多带来的链路稳定性差及网络速率变化较大的特点。

无线通信使人们之间的联系沟通变得愈发的简单快捷，无线自组织网络在网络结构、组网方式、网络资源等方面与有线通信或者蜂窝无线网络具有较大区别，针对不同网络之间的差异性，网络资源调度机制也需要根据不同的场景不断的提出新的方法与系统。

常见的网络资源调度方法，主要有五类：第一类是先来先服务方法，第二类是短作业优先方法，第三类是时间片轮询方法，第四类是优先级方法，第五类是基于机器学习算法自适应调度算法。

第一类方法，主要应用于网络数据传输时的帧或包长度大小没有较大的区别，所有网络资源在传输时，每次传输数据的长度基本一致。使用通信网络传输数据帧，先来到的数据，先发送，后来到的数据，后发送。

第二类方法，主要应用于网络数据帧的长度大小有明显的差异，有很长的数据帧，也有很短的数据帧。在进行数据传输之前，先事先计算好传输的时间，然后在实际传输时，根据计算的时间，从中选择传输时间较短的数据帧优先传输，确定所有数据帧的先后传输次序。

第三类方法，主要应用于保证网络资源调度公平性。在进行数据传输时，按照数据帧来到的次序，将所有数据帧排成一个队列，在数据传输时，发送队列中第一个数据帧一定时间(时间片)，当这个时间片结束时，该数据帧还没发送完毕，将中断此数据帧的传输，并将它送到队列的末尾，然后再发送队列队首的数据帧一个时间片，否则如果数据帧全部发送完毕，则直接发送队列下个位置的数据帧一个时间片，这样不断轮询重复，直到所有的数据都发送完成。

第四类方法，主要针对网络资源根据实际需要有不同优先级的场景。每个网络数据流会设置一个优先级，在数据进行传输时，当有高优先级的数据需要发送时，当前低优先级的数据就会中止发送，发送优先级高的数据，直到高优先级数据全部发送完成，低优先级数据接着进行发送。并在此基础上又可以分为动态优先级方法和静态优先级方法，区别在于在数据发送的过程中，不同数据流的优先级是否可以改变。

第五类方法，主要基于现代机器学习等先进算法，该类方法需要根据场景的不同，选择合适的调度方法。在视频传输中，可以使用机器学习算法进行网络流的反馈调节，提高视频传输的速度和流畅度(基于机器学习的视频传输和资源调度技术研究-王琪)。在车间生产调度中，使用神经网络深度学习调度算法用于作业车间智能调度，并对柔性作业车间智能调度问题以线缆车间为研究对象进行了研究(基于神经网络深度学习的智能调度算法研究-段世豪)。

现有第一类方法，只能适用与传输数据帧长短差距不大的情况，但是在自组织网络中，网络请求种类复杂，数据帧的长度不一，并且具有较大差别，使用该方法，如果短数据帧位于长数据帧后面，则会增大平均周转时间。

第二类方法，比较长的数据帧可能长期得不到发送，对长数据帧不利；另外发送数据的服务时间是用户向系统提交时设定好的，难免有些用户为了让自己数据优先发送，会把发送数据时间缩短，也就是有人为的因素在里面。