[发明专利]交互模型训练方法、装置、计算机设备和存储介质

权利要求书

1.一种交互模型训练方法，所述方法包括：

获取虚拟交互环境对应的第一交互状态特征，以及获取第一交互动作，所述第一交互动作是通过将所述第一交互状态特征，输入到待训练的第一交互模型中确定的；

获取目标虚拟对象执行所述第一交互动作得到的收益，作为第一收益；

将所述第一交互状态特征以及所述第一交互动作输入到目标交互策略对应的目标策略判别模型中，得到第一策略判别值；

根据所述第一策略判别值计算得到第二收益，所述第一策略判别值与所述第二收益成正相关关系；

根据所述第一收益以及所述第二收益计算得到目标收益；

根据所述目标收益对所述待训练的第一交互模型的模型参数进行调整，得到更新后的第一交互模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标交互动作以及所述目标交互动作对应的目标交互状态特征，所述目标交互动作为所述目标交互状态特征对应的状态下，符合所述目标交互策略的交互动作；

根据所述目标交互状态特征以及所述目标交互动作进行模型训练，得到所述目标策略判别模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标交互状态特征以及所述目标交互动作进行模型训练，得到所述目标策略判别模型包括：

将所述目标交互状态特征以及所述目标交互动作输入到待训练的策略判别模型中，得到第二策略判别值；

根据所述第二策略判别值得到第二模型损失值，根据所述第二模型损失值调整待训练的策略判别模型的模型参数，得到所述目标策略判别模型，所述第二策略判别值与所述第二模型损失值成负相关关系。

4.根据权利要求2所述的方法，其特征在于，所述目标交互策略为预设交互用户级别对应的交互策略，所述获取目标交互动作以及所述目标交互动作对应的目标交互状态特征包括：

获取根据所述预设交互用户级别的用户操作得到的交互动作，作为目标交互动作；

获取所述目标交互动作对应的交互状态特征，作为目标交互状态特征。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一策略判别值得到第一模型损失值，所述第一策略判别值与所述第一模型损失值成正相关关系；

根据所述第一模型损失值调整所述目标策略判别模型的模型参数。

6.根据权利要求1所述的方法，其特征在于，所述获取虚拟交互环境对应的第一交互状态特征，以及获取第一交互动作包括：

获取待训练的第一交互模型对应的对战模型，作为第二交互模型；

控制所述待训练的第一交互模型与所述第二交互模型在虚拟交互环境中进行交互，得到所述第一交互模型对应的交互记录数据；

根据所述交互记录数据获取得到第一交互状态特征以及第一交互动作。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将更新后的第一交互模型作为待训练的第一交互模型，进入控制所述待训练的第一交互模型与所述第二交互模型在虚拟交互环境中进行交互，得到所述第一交互模型对应的交互记录数据的步骤，直至更新后的第一交互模型收敛或者模型训练次数达到预设次数。

8.根据权利要求1所述的方法，其特征在于，所述获取目标虚拟对象执行所述第一交互动作得到的收益，作为第一收益包括：

获取所述目标虚拟对象执行所述第一交互动作前后，所述虚拟交互环境对应的状态变化；

根据所述状态变化得到对应的收益，作为第一收益。

9.根据权利要求1所述的方法，其特征在于，所述获取虚拟交互环境对应的第一交互状态特征包括：

获取虚拟交互环境对应的交互相关数据，所述交互相关数据包括对象属性数据以及对象位置数据；

根据所述对象属性数据得到属性特征，根据对象位置数据得到位置特征；

将所述属性特征与所述位置特征进行组合，得到第一交互状态特征。