[发明专利]基于深度双重强化学习的云游戏场景智能调度方法及系统

说明书

本发明公开了一种基于深度双重强化学习的云游戏场景智能调度方法及系统，包括如下步骤：收集云游戏执行时边缘云平台上的任务数据和硬件数据；以满足服务质量和边缘云成本最小化为目标构建激励函数，并将云游戏的任务调度决策过程构建为马尔可夫决策过程；以最大化所有任务的激励函数为目标利用DDQN算法对所建立的马尔科夫决策过程进行求解，获取最优化的任务调度决策。本发明解决了不同游戏对于计算资源的需求不同的问题，实现了计算资源的合理调配，提升了平台毛利率，而且能提升大量云游戏用户的游戏体验。

技术领域

本发明属于云游戏技术领域，具体涉及一种基于深度双重强化学习的云游戏场景智能调度方法及系统。

背景技术

云游戏是指将游戏的复杂渲染工作放到云端，云端根据游戏用户的实时需求将渲染后的画面传输给用户，使用户不需要价格高昂的硬件设备，也能体验高质量游戏的游戏模式。相比于传统的游戏模式，云游戏具有以下优点：首先，云游戏显著降低了玩家的游戏成本，玩家不再需要购买价格高昂的算力设备，就能拥有高质量的游戏体验；其次，云端的大规模设备集群，有着更强大的图形渲染及任务处理能力，同时能获得更仔细的维护也才能够更好的支撑大型游戏；最后，云游戏有能显著降低用户能耗，节省储存空间的优点，对于手机等移动设备用户意义重大。

常规云游戏场景下的任务调度多采用人工分配，或采用简单的负载均衡机制。但是不同于普通计算场景，该场景下GPU设备难以虚拟化且异构程度高。云游戏对GPU有很强的需求，调度优化时需要同时考虑云游戏不同的算力需求、设备的利用率、玩家的游戏体验等多种要求，所以很难通过一些传统的人工调度或负载均衡机制来实现最优的调度策略。现有技术中云游戏一般采用集中式的计算集群承接游戏任务也即负载均衡机制，势必会带来多个不同种类的游戏复用相同的硬件设备，同时，不同的游戏任务对于计算资源有着异构的需求。在这种情况下，如何在计算集群中调度游戏任务，合理利用以GPU、CPU为代表的计算资源就显得尤为重要。且现有的云游戏场景往往混合部署或独占GPU资源，具有以下缺点：GPU等计算资源的综合利用率较低，通过直连混合部署方式GPU等资源的使用率往往不足30％，这导致毛利率的降低；不能进行智能的任务调度，面对多种游戏的不同的资源需求，难以合理配置计算资源，无法达成在保证玩家游戏体验的基础上，尽量少使用计算资源；同时面对大量云游戏玩家的游戏并发，难以动态完成资源扩缩，满足峰值时段的大量玩家的运算需求。

发明内容

针对以上问题，本发明提出了一种基于深度双重强化学习的云游戏场景智能调度方法及系统，不仅能应用到云游戏常见的边缘云集群场景，而且能复用到中心云、IDC、CDN等多个云计算场景中的涉及到任务调度与资源分配的优化问题。为解决以上技术问题，本发明所采用的技术方案如下：

一种基于深度双重强化学习的云游戏场景智能调度方法，包括如下步骤：

S1，收集云游戏执行时边缘云平台上的任务数据和硬件数据；

S2，以满足服务质量和边缘云成本最小化为目标构建激励函数，并将云游戏的任务调度决策过程构建为马尔可夫决策过程；

S3，以最大化所有任务的激励函数为目标利用DDQN算法对步骤S2所建立的马尔科夫决策过程进行求解，获取最优化的任务调度决策。

所述任务数据包括任务开始时间、任务结束时间、带宽占用率、最低CPU要求、最低GPU要求、帧率要求、延迟要求、所需内存空间、所需磁盘空间；所述硬件数据包括CPU配置、磁盘类型、历史带宽平均利用率、压测带宽、压测磁盘IOPS、NAT类型、历史丢包率、历史TCP重传率、GPU型号、张量核心数量。

在步骤S2中，所述激励函数的公式为：

式中，表示任务n在边缘云平台m上的性能表现，表示任务n在边缘云平台m上的基础设施成本，α为常数，表示为满足任务n的服务质量而设定的约束激励，G_n表示任务n的任务调度决策所对应的激励函数。