[发明专利]一种基于环境交互的机器人实时控制方法

权利要求书

1.一种基于环境交互的机器人实时控制方法，其特征在于：通过影像采集设备采集视频数据，获得机器人当前的状态信息，该状态信息通过以太网传输到后台服务器，所述后台服务器内安装有实时控制软件程序，由实时控制软件程序计算出机器人下一步应该执行的动作，该动作的控制信息再通过以太网传回给机器人，控制机器人执行动作；其中，所述实时控制软件程序是K-means聚类算法和基于ε-Greedy贪心策略的核方法的结合，计算出机器人基于环境交互的实时动作；

所述基于ε-Greedy贪心策略的核方法，其计算值函数为：其中：s表示状态，a表示执行动作，(s,a)表示状态动作对，k为向量，D为初始化数据字典，θ为值函数参数；向量其中(s_i,a_i)∈D，β((s,a),(s_i,a_i))是一个指示函数，当状态动作对(s,a)与(s_i,a_i)存在一定关系，则β((s,a),(s_i,a_i))＝1；否则等于0；

所述执行动作a的最短路径为δ_l，是数据字典D中样本离状态动作对(s,a)最短的距离，δ_l＝k((s,a),(s,a))+k((s_i,a_i),(s_i,a_i))-2k((s,a),(s_i,a_i))，当δ_lμ₃时，将数据(s,a)加入数据字典D，同时更新向量k(s',a')，资格迹e以及值函数参数θ；更新否则Q_s,a等于Q_s′,a′，μ₃为预设范围；

所述K-means聚类算法和基于ε-Greedy贪心策略的核方法的结合方法是：

⑴根据需要执行的动作a，随机设定N个完成该动作的路径样本，然后通过K-means聚类算法在N个样本中选择其中K个接近聚类中心的样本点，并初始化数据字典D；

⑵利用ε-Greedy贪心策略的探索方法，在上述K个样本点中，分别执行动作a，收集到相应的环境反馈状态s′以及下一个执行动作a′，并记录执行动作后获得的奖赏值r，一并汇总为Q值表，同时该Q值表内的数据将被每一次的尝试数据所更新；

⑶根据Q值表中的记录数据，找出完成所述执行动作a的最短路径δ_l，即为适合的控制方式，传送给所述机器人。

2.根据权利要求1所述的基于环境交互的机器人实时控制方法，其特征在于：所述步骤⑴中，N个路径样本为所述K个接近聚类中心的样本点为每个样本点距离中心点的距离小于μ₁，μ₁为预设阈值。

3.根据权利要求1所述的基于环境交互的机器人实时控制方法，其特征在于：所述步骤⑵中的奖赏值r为，当执行动作a走的路径越短，为立即奖赏参数r加入奖励值，相反则为立即奖赏参数r减去惩罚值，根据奖赏参数r的数值大小，帮助ε-Greedy贪心策略选择最有可能成为适合的路径进行尝试。

4.根据权利要求1所述的基于环境交互的机器人实时控制方法，其特征在于：所述ε-Greedy贪心策略在与Q值表参数结合确定环境反馈状态s′以及下一个执行动作a′时，随机选择一个0～1的实数ε作为探索因子，计算得到所有可行动作的个数m，然后以ε/m的概率等概率地在可行动作集合中随机选择一个可行动作，或者以1-ε的概率选择，到当前为止情况下，Q值表中最大的Q值所对应的动作；所述可行动作为完成所述执行动作a可采用的动作。