[发明专利]在多方策略互动中进行策略搜索

权利要求书

1.一种计算机实现的方法，用于执行反事实遗憾最小化CRF，以在两方或多方之间的策略互动中进行策略搜索，所述方法包括：

将多个遗憾样本存储在第一数据存储设备中，其中，所述多个遗憾样本各自包括本方的状态和所述本方在所述状态下的可能动作的遗憾值，其中，所述多个遗憾样本是在所述本方与至少一个他方之间的策略互动中进行策略搜索时，通过反事实遗憾最小化CRF算法的两次或更多次迭代获得的；

将多个策略样本存储在第二数据存储设备中，其中，所述多个策略样本各自包括本方的状态和所述本方在所述状态下的可能动作的策略值；

基于所述第一数据存储设备中的所述多个遗憾样本，更新用于预测所述本方在所述状态下的可能动作的遗憾值的第一神经网络的参数；以及

基于所述第二数据存储设备中的所述多个策略样本，更新用于预测所述本方在所述状态下的可能动作的策略值的第二神经网络的参数。

2.如权利要求1所述的方法，还包括：

识别所述本方的第一状态和所述本方在所述第一状态下的第一可能动作；

使用所述第一神经网络的参数，预测所述本方在所述第一状态下的所述第一可能动作的第一遗憾值；以及

使用所述第二神经网络的参数，预测所述本方在所述第一状态下的所述第一可能动作的第一策略值。

3.如权利要求1所述的方法，还包括：

获得新遗憾样本；以及

根据贮存器采样算法，将所述新遗憾样本存储到所述第一数据存储设备。

4.如权利要求3所述的方法，其中，根据贮存器采样算法，将所述新遗憾样本存储到所述第一数据存储设备，包括：

确定所述第一数据存储设备是否已满；以及

响应于确定所述第一数据存储设备已满，用所述新遗憾样本替换所述第一数据存储设备中的所述多个遗憾样本之一。

5.如权利要求1所述的方法，其中，所述CRF算法包括鲁棒采样CRF算法。

6.如权利要求1所述的方法，其中，所述本方在所述状态下的可能动作的策略值包括平均策略分子。

7.如权利要求1所述的方法，其中，所述本方在所述状态下的可能动作的遗憾值包括：基于所述本方在所述状态下的所述可能动作的反事实值计算出的所述本方在所述状态下的所述可能动作的反事实遗憾值。

8.如权利要求1所述的方法，还包括：

在所述本方和所述至少一个他方之间的策略互动中进行策略搜索时，在反事实遗憾最小化CRF算法的两次或更多次迭代中的每次迭代中，

根据采样方案，从本方在第二状态下的多个可能动作中采样出可能动作；

计算所述本方在所述第二状态下的所述可能动作的反事实值；

根据所述本方在所述第二状态下的所述可能动作的所述反事实值，计算所述本方在所述第二状态下的所述可能动作的遗憾值；

根据遗憾匹配算法，根据所述本方在所述第二状态下的所述可能动作的所述遗憾值，计算所述本方在所述第二状态下的所述可能动作的更新策略；以及

基于所述本方在所述第二状态下的所述可能动作的所述更新策略，计算所述本方在所述第二状态下的所述可能动作的策略值。

9.如权利要求1所述的方法，还包括：

基于先前迭代中的所述第一神经网络的参数，初始化所述第一神经网络的参数；以及

基于先前迭代中的所述第二神经网络的参数，初始化所述第二神经网络的参数。