[发明专利]连续状态空间智能体构建方法

说明书

本发明公开一种连续状态空间智能体构建方法。本发明涉及计算机技术领域，解决现有智能体构建方法无法在有限的数据、较短的开发时间和较低的硬件成本的条件下实现快速构建，适应复杂多变的连续状态空间环境下的决策，并具有快速迭代的能力的问题。本发明通过获取游戏日志数据并进行数字化处理，组成多层复合数据结构；利用游戏日志数据训练智能体，训练智能体需要的数据量极少，对开发的硬件要求低，便于实现低成本快速构造智能体，可在有限的数据、较短的开发时间和较低的硬件成本的条件下实现快速构建智能体，使智能体适应复杂多变的连续状态空间环境下的决策，并具有快速迭代的能力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种连续状态空间智能体构建方法。

背景技术

智能体是人工智能领域中一个重要的概念，任何独立的能够思考并可以同环境交互的实体都可以抽象为智能体，游戏等相关领域智能体的人工智能（英文：ArtificialIntelligence，简称：AI）决策结构主要为行为树和有限状态机。

申请号201210042044.1的专利公开一种在三维动画引擎底层实现人机交互的方法，利用有限状态机将三维角色需要的功能操作进行封装，然后设计有限状态机的运行规则，从而实现三维动画引擎底层的人机交互功能。有限状态机的实现通常是将每个状态写成类，再用一个载体管理这些状态的切换。有限状态机拥有有限数量的状态，不同的输入决定了下一个状态的迁移。有限状态机的缺点是：各个状态类之间互相依赖严重，耦合度高，结构不灵活，可扩展性不高，难以脚本化和可视化。有限状态机适用于状态数量少的应用场景。

申请号201510336860.7的专利公开一种行为处理方法及装置，将待执行的目标技能子树挂载于角色行为树进行遍历执行，充分利用行为树的递归与逻辑特性。行为树的实现通常是将状态空间中的主要情况都抽象成一个个节点，然后把每一个节点连接成一棵树，每个节点代表一个行为，每个行为都可以有子行为，所有行为都有一个先决条件，就是产生的这些行为的条件。行为树的缺点是：每一帧都从根节点开始，有可能会访问到所有的节点，消耗更多的算力。对于行为树的编写十分依赖环境，适用范围狭窄。

除此之外，基于模型的机器学习解决方案针对各种环境都需要大量的数据，开发周期较长，方法输出不稳定，而且对异常值敏感。监督学习方案由于其线性假设，与现实情况差异较大，在复杂环境中表现通常很差，而强化学习方案需要大量的环境开发工作和昂贵的硬件。

因此，如何在有限的数据、较短的开发时间和较低的硬件成本的条件下构建有效的智能体，使其能够适应复杂多变的连续状态空间环境下的决策，并具有快速迭代的能力，是业内亟待解决的问题。

发明内容

本发明的目的在于提供一种连续状态空间智能体构建方法，以解决现有智能体构建方法无法在有限的数据、较短的开发时间和较低的硬件成本的条件下实现快速构建，适应复杂多变的连续状态空间环境下的决策，并具有快速迭代的能力的问题。

本发明提供一种连续状态空间智能体构建方法，包括：

获取游戏日志数据，所述游戏日志数据包括输入数据和输出数据；所述输入数据包括多个时间节点下的敌人位置信息、角色方向角和角色位置信息，所述输出数据包括在与输入数据相同的时间节点下，玩家控制角色做出的键盘鼠标操作信息；

对所述输入数据和输出数据进行数字化处理，组成多层复合数据结构；所述多层复合数据结构中，底层为时间节点组成的时间序列，中层为空间位置组成的路径数据，顶层为搜索树来加快搜索速度；

取数个历史时间节点构成第一时间序列，将当前时间节点下智能体的空间位置作为所述第一时间序列的特征值；

对所述特征值在搜索树中进行搜索，得到与所述特征值的差距小于临界值且长度与第一时间序列相同的第二时间序列；

比较所述第一时间序列与所述第二时间序列的加权平均方差；