[发明专利]门控线性上下文博弈机

权利要求书

1.一种响应于上下文序列中的每个上下文而从要执行的动作集合中选择动作的方法，所述方法包括：

维持指定与所述多个动作中的每个动作相对应的相应门控线性网络的数据，其中，每个门控线性网络被配置为预测如果响应于输入上下文执行对应动作则将接收到回报的概率，并且其中，每个门控线性网络包括多个层，每层包括一个或多个神经元，其中在第一层之后的每层中的每个神经元被配置为接收(i)所述输入上下文和(ii)来自前一层中的神经元的预测，并且(iii)将门控函数应用于所述输入上下文以选择权重向量，并且(iv)基于所选择的权重向量来生成来自所述前一层中的神经元的预测的几何混合作为输出；

对于所述上下文序列中的每个上下文：

对于每个动作，使用对应于所述动作的门控线性网络来处理所述上下文以生成预测概率；

对于每个动作，至少根据所述预测概率来生成针对所述动作的动作分值；以及

基于所述动作分值响应于所述上下文而选择要执行的动作。

2.根据权利要求1所述的方法，其中基于所述动作分值响应于所述上下文而选择要执行的动作包括选择具有最高动作分值的动作。

3.根据任一前述权利要求所述的方法，其中，对于每个动作，至少根据所述预测概率来生成针对所述动作的动作分值包括：

计算针对所述动作的伪计数；以及

根据针对所述动作的预测概率和针对所述动作的伪计数来生成所述动作分值。

4.根据权利要求3所述的方法，其中，计算伪计数包括：

确定(i)跨针对所述动作的门控线性网络中的神经元的门控函数的上下文的签名与(ii)所述序列中的下述较早上下文的签名之间的重叠：针对该较早上下文，所述动作被选择为响应于该较早上下文而执行的动作。

5.根据任一前述权利要求所述的方法，还包括：

对于所述上下文序列中的每个上下文：

接收回报；以及

基于所述回报来更新针对所选择的动作的门控线性网络。

6.根据权利要求5所述的方法，其中，更新针对所选择的动作的门控线性网络包括：

基于特定于神经元的损失来局部地更新所述门控线性网络中的每个神经元。

7.根据任一前述权利要求所述的方法，其中，所述多个层中的最后层仅包括单个神经元，并且其中，所述门控线性网络的预测概率是所述单个神经元的输出。

8.根据任一前述权利要求所述的方法，其中，所述多个层中的第一层中的神经元接收所述输入上下文和基本预测集合。

9.一种响应于上下文序列中的每个上下文从要执行的动作集合中选择动作的方法，所述方法包括：

维持指定与所述多个动作中的每个动作相对应的相应门控线性网络树的数据，其中，每个门控线性网络树共同地被配置为预测回报值范围的多个区间中的每个区间的相应概率，其中，每个区间的相应概率表示如果响应于输入上下文执行所述对应动作则将接收到落在所述区间中的回报的可能性，并且其中，每个门控线性网络包括多个层，每层包括一个或多个神经元，其中在第一层之后的每层中的每个神经元被配置为接收(i)所述输入上下文和(ii)来自前一层中的神经元的预测，并且(iii)将门控函数应用于所述输入上下文以选择权重向量，并且(iv)基于所选择的权重向量来生成来自所述前一层中的神经元的预测的几何混合作为输出；

对于所述上下文序列中的每个上下文：

对于每个动作，使用对应于所述动作的门控线性网络树来处理所述上下文，以生成所述回报值范围的多个区间中的每个区间的相应概率；

对于每个动作，至少根据所述相应概率来生成针对所述动作的动作分值；以及

基于所述动作分值响应于所述上下文而选择要执行的动作。