[发明专利]一种基于深度强化学习的计算分流优化方法

说明书

本发明提供一种基于深度强化学习的计算分流优化方法，所述方法包括以下步骤：步骤1，用户端进行计算分流前，用户端向雾节点发送自身状态信息，自身状态信息包括信道增益、任务大小、CPU处理频率；步骤2，雾节点集中接收系统中的用户状态信息，并将这些信息输入神经网络，输出系统的计算分流决策和资源分配方案；步骤3，雾节点反馈计算分流决策和资源分配方案给系统中的用户等；本发明的优越效果在于利用深度强化学习的自主学习能力和决策能力来完成系统计算分流决策的制定，解决传统方法因算法复杂度过高而无法应用于实时场景的问题。

技术领域

本发明涉及人工智能领域，具体涉及一种基于深度强化学习的计算分流优化方法。

技术背景

当今时代，人工智能领域的长足发展使得各种人工智能应用如雨后春笋般不断出现。诸如人脸识别、自动驾驶、语音识别等相关应用层出不穷。这些任务普遍存在计算任务量大、计算时延要求严格的特点，而要达到这些计算任务要求，就需要大量的计算资源来支撑。但是对于一般的终端设备来说，它所拥有的计算资源是有限的，根本不足以同时支撑大量智能任务对计算资源的需求，这种对计算资源的需求也是限制提升智能应用用户体验的一个关键点。

为了解决终端设备计算资源不足的问题，学界和工业界提出计算分流的优化方案。根据该方案的设计，当本地计算资源不足时，将计算任务分流到远程计算中心进行处理，再将处理结果反馈回本地。通过这种远程协助的方式，从而满足计算任务对计算资源的需求。

基于雾无线接入网络的计算分流网络架构是一种具有良好前景的网络架构，该架构中，系统由用户、雾节点和云节点三层结构组成。而对于系统中用户的计算任务来说，都存在三种处理方案：将计算任务留在本地处理、将计算任务分流到雾节点进行处理、将计算任务分流到云节点进行处理。由于系统中的计算任务的性能要求是不同的，如有些对时延敏感、有些任务则数据量很大。因此，如何快速为系统中的计算任务制定合理的分流决策方案，实现最大化的满足各个不同的任务对计算资源和处理时延的要求且最优化系统资源配置，则是提高用户体验和系统效率的关键点所在。

在实际应用场景中实现用户计算任务的高效分流，至少需要解决两个方面的问题。其一，快速为系统中的计算任务做出合理的分流决策；其二，基于第一步做出的分流决策方案，对系统中的资源进行合理的分配。然而，系统中用户计算分流决策方案的优化是一个整型规划问题，并且非线性非凸。该类问题的算法复杂度随用户数呈指数增长，这极大地增加了实时应用场景中计算分流问题的优化难度。

在现有专利公开的专利文献中，例如专利申请号为201810342371.6公开了一种基于半监督学习的移动边缘计算分流决策方法，包括以下步骤：1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，计算出在给出分流决策下系统中所有的能量损耗；2)计算总的时间损耗考虑为所有时间消耗的总和；3)所有用户的分流决策将通过他们的发送数据DOnm和接收数据DInm的大小决定，半监督学习的作用则是将它们作为半监督学习中神经网络的输入，然后生成一个能使整个系统的能量损耗总和最小的分流决策。该发明仍然未能解决分流决策方案，对系统中的资源进行合理的分配。

发明内容

基于现有技术中存在的缺陷或不足之处，本发明提出一种基于深度强化学习的计算分流优化方法。

本发明所述方法具体步骤如下：

步骤1，用户端进行计算分流前，用户端向雾节点发送自身状态信息，自身状态信息包括信道增益、任务大小、CPU处理频率；

步骤2，雾节点集中接收系统中的用户状态信息，并将这些信息输入神经网络，输出系统的计算分流决策和资源分配方案；

步骤3，雾节点反馈计算分流决策和资源分配方案给系统中的用户；

步骤4，雾节点通过反向传播的方式更新神经网络参数；