[发明专利]更新Q值矩阵的方法、存储介质和终端设备

说明书

本申请提供了一种更新Q值矩阵的方法、存储介质和终端设备，该方法包括：获取传感器数据并确定在Q值矩阵中对应的第一状态；将第一状态输入神经网络，预测在第一状态下遍历Q值矩阵中所有动作之后分别得到的在Q值矩阵中对应的第二状态；根据第一状态和第二状态下所有动作对应的Q值，按照预设算法更新第一状态下的所有动作所对应的Q值。提高了Q值矩阵的更新效率，有助于对建筑机电设备或系统更快找到最优的控制策略。

技术领域

本申请涉及建筑机电系统的控制技术领域，尤其涉及一种更新Q值矩阵的方法、存储介质和终端设备。

背景技术

现代建筑机电系统设备通常采用传统的比例-积分-微分(PID)控制或模糊控制等算法，其扩展性较弱，针对具体的建筑或者房间需要人为调节大量参数或者根据经验设定经验值。而且最终达到的控制效果也较为粗略，能耗较高。

在强化学习领域中有一种经典的Q学习(Q-Learning)算法，Q值表示每个状态下对于执行每个动作所对应的价值，某一状态-动作的Q值越大，表示在该状态下执行该动作达到的效果越好。因此Q-Learning算法的核心是更新Q矩阵，传统Q-Learning算法一次只能更新其中一个Q值，更新Q矩阵需要付出大量的搜索代价才能得到收敛。

发明内容

有鉴于此，本申请实施例提供了一种更新Q值矩阵的方法、存储介质和终端设备，用以解决现有技术中传统Q-Learning算法在实际应用中迭代效率低而影响得到建筑机电设备最优控制策略的时间。

根据本申请实施例的一个方面，提供了一种更新Q值矩阵的方法，所述方法包括：获取传感器数据并确定在Q值矩阵中对应的第一状态；将第一状态输入神经网络，预测在第一状态下遍历Q值矩阵中所有动作之后分别得到的在Q值矩阵中对应的第二状态；根据第一状态和第二状态下所有动作对应的Q值，按照预设算法更新第一状态下的所有动作所对应的Q值。

根据本申请实施例的另一方面，提供了一种终端设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取传感器数据并确定在Q值矩阵中对应的第一状态；将第一状态输入神经网络，预测在第一状态下遍历所述Q值矩阵中所有动作之后分别得到的在Q值矩阵中对应的第二状态；根据第一状态和第二状态下所有动作对应的Q值，按照预设算法更新第一状态下的所有动作所对应的Q值。

根据本申请实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述更新Q值矩阵的方法的步骤。

本申请实施例的有益效果包括：利用经过训练的神经网络，每进行一次预测和计算即能够更新Q值矩阵中一整行的Q值，从而提高了Q值矩阵的更新效率，有助于对建筑机电设备或系统更快找到最优的控制策略。

附图说明

通过以下参照附图对本申请实施例的描述，本申请的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本申请实施例提供的更新Q值矩阵的方法的流程示意图；

图2是本申请实施例提供的更新Q值矩阵的方法的流程示意图；

图3是本申请实施例神经网络的结构示意图。

具体实施方式

以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。