[发明专利]多机器人强化学习协同搜索方法及系统

摘要

本申请实施例提供的多机器人强化学习协同搜索方法及系统中，第一机器人判断是否搜索到目标物；若是，第一机器人根据第一公式进行Q学习，更新Q函数规则，不断优化并靠近目标物，并发出协同搜索信号；若第二机器人收到协同搜索信号，则第二机器人根据第二公式更新Q函数，并不断靠近第一机器人，同时第二机器人判断是否搜索到目标物；若是，第二机器人根据第一公式进行Q函数更新，靠近目标物。本申请提供的方法会根据f(T)以及f(T^*)的阈值来判断是否进行相应的Q学习，与现有技术中直接不断进行Q学习来迭代Q值的方法相比，由于在迭代Q值之前可以先进行f(T)以及f(T^*)的判断，然后在决定是否进行Q值的迭代，减少了较大的计算量。

主权项

1.一种多机器人强化学习协同搜索方法，其特征在于，所述方法包括：第一机器人判断是否搜索到目标物；若是，所述第一机器人根据第一公式进行Q学习并根据学习结果移动以靠近所述目标物，所述第一公式为：其中，а表示学习率，为常数，为t+1时刻，第i个机器人所处联合状态空间状态，为当前第i个机器人所采用的联合行动，为t+1时刻的学习规则，通过采用策略实现联合状态空间到联合动作空间的一个映射，为个体发生触发响应前t‑l时刻的学习规则，l表示个体响应触发和当前时刻的差值，为第i个机器人t+1时刻的即时回报，其中，γ∈[0,1]，代表折扣因子，所述第一公式包括f(T)，所述f(T)根据公式获得，其中，T_ik以距离个体与目标距离d成反比的函数，表示为单位i机器人检测到目标信号k的强度；m_k为群机器人中共同搜索目标信号k的数量，θ_ik为第i个机器人对检测信号的响应阈值，η为距离响应调节参数，用于控制个体对信号敏感度，d^*_ik表示当前机器人i检测到最强目标信号k时的距离；若f(T)超过第一阈值，所述第一机器人发出协同搜索信号；若第二机器人收到所述协同搜索信号，则所述第二机器人根据第二公式进行Q学习并根据学习结果移动以靠近所述第一机器人，所述第二公式为：其中，β表示学习率，为常数，为t+1时刻，第i个机器人所处联合状态空间状态，为当前第i个机器人所采用的联合行动，为t+1时刻的学习规则，通过采用策略实现联合状态空间到联合动作空间的一个映射，为个体发生触发响应前t‑l时刻的学习规则，l表示个体响应触发和当前时刻的差值，为第i个机器人t+1时刻的即时回报，其中，γ∈[0,1]，代表折扣因子，所述第二公式包括f(T^*)，所述f(T^*)根据公式获得，其中，T_jk以距离个体与目标距离d成反比的函数，表示为单位j机器人检测到目标信号k的强度；m_k为群机器人中共同搜索目标信号k的数量，θ_jk为第j个机器人对检测信号的响应阈值，η为距离响应调节参数，用于控制个体对信号敏感度，d^*_jk表示当前机器人j检测到最强目标信号k时的距离，同时所述第二机器人判断是否搜索到所述目标物；若是，且所述第二机器人判断f(T)大于f(T*)，则所述第二机器人根据所述第一公式进行Q学习并根据学习结果移动以靠近所述目标物。