[发明专利]连续状态空间智能体构建方法

权利要求书

1.一种连续状态空间智能体构建方法，其特征在于，包括：

获取游戏日志数据，所述游戏日志数据包括输入数据和输出数据；所述输入数据包括多个时间节点下的敌人位置信息、角色方向角和角色位置信息，所述输出数据包括在与输入数据相同的时间节点下，玩家控制角色做出的键盘鼠标操作信息；

对所述输入数据和输出数据进行数字化处理，组成多层复合数据结构；所述多层复合数据结构中，底层为时间节点组成的时间序列，中层为空间位置组成的路径数据，顶层为搜索树来加快搜索速度；

取数个历史时间节点构成第一时间序列，将当前时间节点下智能体的空间位置作为所述第一时间序列的特征值；

对所述特征值在搜索树中进行搜索，得到与所述特征值的差距小于临界值且长度与第一时间序列相同的第二时间序列；

比较所述第一时间序列与所述第二时间序列的加权平均方差；

根据所述加权平均方差，在第二时间序列中取得与第一时间序列的最近邻时间节点，将所述最近邻时间节点作为下一个时间节点输出；

比较所述第一时间序列与所述第二时间序列的加权平均方差，包括：

将第一时间序列与第二时间序列中的每一个时间节点求闵可夫斯基距离，并按照与当前时间节点的时间间隔对所述每一个时间节点赋予权重；

采用以下公式计算所述闵可夫斯基距离：

其中，δ表示闵可夫斯基距离，dx表示两个对应的时间节点的空间维度的对应差值，若空间维度为3维，设两个时间节点的空间维度分别为(x₀，y₀，z₀)，(x₁，y₁，z₁)，则dx₀表示x₁-x₀，dx₁表示y₁-y₀，dx₂表示z₁-z₀，当p＝1时为曼哈顿距离，当p＝2时为欧氏距离，k表示空间维度。

2.如权利要求1所述的连续状态空间智能体构建方法，其特征在于，所述方法还包括智能体异常状态处理：

判断智能体移动速度计算值是否符合预期；

如果智能体移动速度计算值不符合预期，利用多层复合数据结构中包含的空间位置对智能体当前位置进行矫正，或者临时使用随机值进行处理。

3.如权利要求2所述的连续状态空间智能体构建方法，其特征在于，所述方法还包括响应互动状态：

对不同角色的输出和过程量进行综合判断，判断为可互动状态则对智能体执行动作空间中指定的互动动作。

4.如权利要求3所述的连续状态空间智能体构建方法，其特征在于，在第一人称射击游戏中，响应互动状态的整个流程为：预测敌人位置，根据智能体与敌人的相对位置，计算智能体的射击角度，智能体偏转至射击角度后进行瞄准，执行开火动作，更新状态。

5.如权利要求4所述的连续状态空间智能体构建方法，其特征在于，所述射击角度计算公式如下：

式中，P表示垂直方向角，垂直方向的0°方向为xy平面方向；Y表示水平方向角，水平方向的0°方向为x轴方向；dx、dy、dz分别表示智能体和敌人的空间位置对应维度的差值。

6.如权利要求5所述的连续状态空间智能体构建方法，其特征在于，所述方法还包括：

构建第一轻量级目标检测网络，输入实时游戏画面；

根据实时游戏画面对其中的人物进行识别并得到人物在画面中的位置，由此进行智能体发现敌人和触发瞄准射击的决策。

7.如权利要求6所述的连续状态空间智能体构建方法，其特征在于，所述方法还包括：

构建第二轻量级目标检测网络，输入实时双通道游戏声音，根据实时双通道游戏声音对声源所在方向进行定位，辅助智能体发现敌人。