[发明专利]确定执行设备的动作选择方针

权利要求书

1.一种执行设备的计算机实现的方法，用于生成动作选择方针，以在包括所述执行设备以及一个或多个其他设备的环境中完成任务，所述方法包括：

在多次迭代中的当前迭代，

获得所述当前迭代中的动作选择方针，其中，所述动作选择方针包括所述执行设备从当前状态下的多个可能动作中选择一个动作的相应概率，其中，所述当前状态是由所述执行设备在前一状态下采取的前一动作导致的，并且当所述执行设备在所述当前状态下时，所述多个可能动作中的每个动作如果被所述执行设备执行，则会导致相应的下一状态；

获得所述当前状态下每个动作的相应的第一奖励，其中，每个动作的相应的第一奖励表示由该动作带来的有助于完成任务的收益；

基于各个动作的相应的第一奖励和所述当前迭代中的动作选择方针来计算所述当前状态的第一奖励，其中，所述当前状态的第一奖励表示由所述当前状态带来的有助于完成任务的收益；

基于所述动作的相应的第一奖励与所述当前状态的第一奖励之间的差来计算所述多个可能动作中的每个动作的相应遗憾值；

基于所述当前迭代中每个动作的相应遗憾值而不是所述当前迭代之前的任何迭代中每个动作的任何遗憾值来计算增量动作选择方针；

基于各个动作的相应的第一奖励和所述增量动作选择方针来计算所述当前状态的第二奖励，其中，所述当前状态的第二奖励为每个动作的相应的第一奖励和每个动作的相应概率的加权和；

基于所述当前状态的第二奖励确定所述下一次迭代中的动作选择方针；以及

根据所述动作选择方针来控制所述执行设备的各个动作，

其中，所述动作选择方针用于实现设备动作控制或产品/服务推荐或交通路线规划。

2.根据权利要求1所述的方法，其中，所述基于各个动作的相应的第一奖励以及所述当前迭代中的动作选择方针来计算所述当前状态的第一奖励，包括：

基于所述当前迭代中选择的各个动作的对应概率，对所述当前迭代中选择的各个动作的相应的第一奖励进行加权；

基于所述当前迭代中选择的各个动作的相应的加权后的第一奖励的总和计算所述当前状态的第一奖励。

3.根据权利要求1所述的方法，其中，所述基于所述当前状态的第二奖励确定所述下一次迭代中的动作选择方针，包括：基于所述当前迭代中的动作选择方针和所述增量动作选择方针的加权和来确定所述下一次迭代中的动作选择方针。

4.根据权利要求1所述的方法，还包括：将所述当前状态的第一奖励替换为所述当前状态的第二奖励。

5.根据权利要求1所述的方法，其中，所述基于所述当前状态的第二奖励来确定所述下一次迭代中的动作选择方针，包括：

基于所述当前状态的第二奖励来计算所述前一状态的第一奖励；

基于所述前一状态下的所述前一动作的第一奖励与所述前一状态的第一奖励之间的差来计算所述前一动作的遗憾值；以及

基于所述前一动作的遗憾值来计算在所述下一次迭代中从所述前一状态下的所述多个可能动作中选择所述前一动作的概率。

6.根据前述任一权利要求所述的方法，其中：

所述环境包括交通路线规划环境，

应用支持的所述执行设备包括计算机辅助车辆，

所述动作选择方针包括用于控制所述计算机辅助车辆的方向的路线选择方针，以及

根据所述动作选择方针控制所述执行设备的操作包括，根据所述路线选择方针控制所述计算机辅助车辆的方向。

7.一种执行用于生成动作选择方针的软件实现应用的系统，用于在包括执行设备以及一个或多个其他设备的环境中完成任务，所述系统包括：

一个或多个处理器；以及

一个或多个计算机可读存储器，耦接到所述一个或多个处理器且其上存储有指令，所述指令能够被所述一个或多个处理器执行以执行权利要求1至6中任一项所述的方法。

8.一种用于生成动作选择方针的装置，用于在包括执行设备以及一个或多个其他设备的环境中完成任务，所述装置包括用于执行权利要求1至6中任一项所述的方法的多个模块。