[发明专利]一种基于多智能体深度强化学习算法的智能博弈系统

说明书

本发明公开了一个基于多智能体深度强化学习的智能博弈系统，利用多智能体深度强化学习算法构建决策对象软件模型及智能决策技术，软件可以表征智能博弈的特点，能够进行博弈、有胜负，并可以展示智能博弈的过程。

技术领域

本发明涉及一种基于多智能体深度强化学习算法的智能博弈系统。

背景技术

强化学习是近年来机器学习和智能控制领域的主要方法之一。也就是说强化学习关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。通过强化学习，一个智能体应该知道在什么状态下应该采取什么行为。强化学习是从环境状态到动作的映射的学习，我们把这个映射称为策略。

早期的强化学习算法主要关注于状态和动作都是离散且有限的问题，可以使用表格来记录这些概率。但在很多实际问题中，有些任务的状态和动作的数量非常多。为了有效地解决这些问题，可以一个复杂的函数(比如深度神经网络)来使得智能体可以感知更复杂的环境状态以及建立更复杂的策略，提高强化学习算法的能力，并提高泛化能力。深度强化学习是将强化学习和深度学习结合在一起，用强化学习来定义问题和优化目标，用深度学习来解决策略和值函数的建模问题，然后使用误差反向传播算法来优化目标函数。深度强化学习在一定程度上具备解决复杂问题的通用智能，并在很多任务上都取得了很大的成功。

针对空频域的智能博弈问题，环境的规模较大，包括状态空间、动作空间以及需要控制的智能体数量巨大，直接利用传统的方法解决显然是不合理的。因此我们利用多种多智能体强化学习算法对策略进行学习，并利用相应的简化算法去对环境进行简化，同时将博弈论中的博弈约简的概念引入，简化当前问题的复杂度，基于以上技术的基础上构建空频领域的仿真智能博弈软件，软件可以表征智能博弈的特点，能够进行博弈、有胜负，并可以展示智能博弈的过程。

发明内容

发明目的：本发明提供可一种基于多智能体深度强化学习算法的智能博弈系统，以解决空频领域的大规模智能博弈问题，并展示智能博弈的过程。

技术方案：本发明的智能博弈软件包括两个部分，即可视化智能博弈平台构建技术和多智能体深度强化学习算法建模。

基于多智能体深度强化学习算法的智能博弈系统，所述的软件构建方法包括：定义博弈环境中的状态空间、动作空间和奖赏函数；根据博弈环境的定义，设计可配置环境并且可进行人机交互的可视化的博弈平台；根据博弈环境的定义对状态空间和动作空间进行数据预处理，得到基础的算法输入数据；基于深度学习和多智能体技术建立可进行大规模博弈的策略模型；根据预处理好的状态、动作数据以及奖赏函数对多智能体深度强化学习算法模型进行训练，得到训练好的博弈策略模型；在可视化博弈平台，加载训练好的博弈策略模型，利用多智能体深度强化学习算法进行智能决策。基于所述的多智能体深度强化学习的博弈策略模型可针对对手的策略生成相应的智能博弈策略，策略效果较好，交互的实时性强，很好的解决了大规模场景的博弈问题，具有很好的实际应用价值。

附图说明

图1是本发明的总体结构图。

图2是本发明的对弈信息配置界面图。

图3是本发明的可视化对弈过程展示图。

图4是本发明的多智能体强化学习算法结构图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

图1为本申请实施例提供的基于多智能体深度强化学习算法的智能博弈系统的总体结构图，包括对弈信息配置模块、对弈展示模块、对弈交互模块、策略生成模块以及数据存储模块，各个程序及模块功能如下：