[发明专利]更新Q值矩阵的方法、存储介质和终端设备

权利要求书

1.一种更新Q值矩阵的方法，其特征在于，所述方法包括：

获取传感器数据并确定在Q值矩阵中对应的第一状态；

将所述第一状态输入神经网络，预测在所述第一状态下遍历所述Q值矩阵中所有动作之后分别得到的在所述Q值矩阵中对应的第二状态；

根据所述第一状态和第二状态下所有动作对应的Q值，按照预设算法更新所述第一状态下的所有动作所对应的Q值；

其中，所述神经网络通过以历史状态以及对应执行的动作作为训练数据训练获得，所述神经网络的训练步骤包括：

将当前时间点t以及上一时间点t-1的状态和动作作为所述神经网络的输入，所述神经网络的输出为下一时间点t+1的预测状态；

根据所述预测状态与下一时间点t+1的实际状态之间的误差来调整所述神经网络的权重矩阵和偏置；

根据所述第一状态和第二状态下所有动作对应的Q值，按照预设算法更新所述第一状态下的所有动作所对应的Q值包括：

根据贝尔曼方程更新所述第一状态下的所有动作所对应的Q值，

其中，Q_t(x_t,u_k)代表t时间点的第一状态x_t下的执行动作u_k所对应的Q值；u'代表第二状态x_t+1,k下的动作空间，Q(x_t+1,k,u')代表t+1时间点执行动作空间u'中第k个动作所对应的Q值；r_t+1代表第二状态x_t+1,k的回报值；γ代表折扣因子；α代表学习率；

获取当前传感器数据并确定在所述Q值矩阵中对应的当前状态；

从所述Q值矩阵中确定所述当前状态下的所有动作中Q值最大的动作并执行。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前传感器数据的积累数量达到预设门限时，根据积累的当前传感器数据更新所述Q值矩阵。

3.根据权利要求1所述的方法，其特征在于，所述状态包括多个变量，所述Q值矩阵的状态空间通过穷举所述多个变量的所有组合来定义；和/或，

所述动作包括多个被控制量，所述Q值矩阵的动作空间通过穷举所述多个被控制量的所有组合来定义。

4.一种终端设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：获取传感器数据并确定在Q值矩阵中对应的第一状态；

将所述第一状态输入神经网络，预测在所述第一状态下遍历所述Q值矩阵中所有动作之后分别得到的在所述Q值矩阵中对应的第二状态；

根据所述第一状态和第二状态下所有动作对应的Q值，按照预设算法更新所述第一状态下的所有动作所对应的Q值；

其中，所述神经网络通过以历史状态以及对应执行的动作作为训练数据训练获得，所述神经网络的训练步骤包括：

将当前时间点t以及上一时间点t-1的状态和动作作为所述神经网络的输入，所述神经网络的输出为下一时间点t+1的预测状态；

根据所述预测状态与下一时间点t+1的实际状态之间的误差来调整所述神经网络的权重矩阵和偏置；

根据所述第一状态和第二状态下所有动作对应的Q值，按照预设算法更新所述第一状态下的所有动作所对应的Q值包括：

根据贝尔曼方程更新所述第一状态下的所有动作所对应的Q值，

其中，Q_t(x_t,u_k)代表t时间点的第一状态x_t下的执行动作u_k所对应的Q值；u'代表第二状态x_t+1,k下的动作空间，Q(x_t+1,k,u')代表t+1时间点执行动作空间u'中第k个动作所对应的Q值；r_t+1代表第二状态x_t+1,k的回报值；γ代表折扣因子；α代表学习率。

5.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-3中任一项所述更新Q值矩阵的方法的步骤。