[发明专利]一种基于环境交互的机器人实时控制方法

说明书

本发明公开了一种基于环境交互的机器人实时控制方法，其特征在于：通过影像采集设备采集视频数据，获得机器人当前的状态信息，该状态信息通过以太网传输到后台服务器，所述后台服务器内安装有实时控制软件程序，由实时控制软件程序计算出机器人下一步该执行的动作，该动作控制信息再通过以太网传回给机器人，控制机器人执行动作；其中，所述实时控制软件程序是K‑means聚类算法和基于ε‑Greedy贪心策略的核方法的结合，计算出机器人基于环境交互的实时动作。本发明通过与未知环境的不断交互，去实现对机器人的实时控制，两种方式的结合，相互平衡，控制机器人能又好又快的完成指定任务。

技术领域

本发明涉及一种机器人控制技术领域，尤其涉及一种基于环境交互的机器人实时控制方法，它可以不断地与未知环境交互，解决实时性控制问题。

背景技术

强化学习是机器学习的一个重要分支，通过不断地与环境交互学习追求长期奖赏最大化。这与控制问题的目标一致：实时探知环境信息，根据实际情况做出最佳控制决策。通过影像采集设备采集视频数据，可以获得机器人当前的状态信息。但是，由于控制问题所涉及的环境信息数据量大，且需要实时更新，因此会造成“数据灾难”。而这是包括强化学习方法在内的众多机器学习方法难以解决的问题。目前，核方法等多种值函数近似方法是解决“数据灾难”问题的有效途径。核方法通过线性方法解决非线性问题，而且与其他值函数近似方法相比，具有很多优点，如无须手动调节样本、不必预先定义网络结构以及数据结构简单。然而，常见的核方法计算复杂度高，无法解决在线问题以及对实时性要求高的问题。在核方法中，使用核稀疏化，可以有效地降低核方法的计算复杂度，使之适用于实时控制问题。

在另一方面，核稀疏化方法又会影响估计的精度。因此，需要在降低计算复杂度和保证估计精度之间根据实际情况进行平衡。为了实现对机器人的实时控制，结合聚类方法和新颖性规则，进行核稀疏化。

机器人控制中，学习参数以形成控制策略。在强化学习中，常用的参数学习方法包括动态规化、蒙特卡罗以及时间差分方法。时间差分学习是一类简单高效的规划方法，其中真实在线时间差分方法是学习效果最为凸出的一种。在线策略式在线时间差分学习方法是一种高效的基于时间差分学习的控制方法，也是强化学习的一个重大突破。将结合聚类方法和新颖性规则的稀疏化方法与基于核的真实在线策略式在线时间差分学习方法结合起来，学习到最佳控制策略的参数，从而更快速、精确地实时控制机器人完成每一项任务，选择更为符合环境变化的实时控制方法。

发明内容

本发明目的是：一种基于环境交互的机器人实时控制方法，通过与未知环境的不断交互，去实现对机器人的实时控制，控制机器人又好又快地完成指定任务，提高机器人的工作效率及精确性。

本发明的技术方案是：一种基于环境交互的机器人实时控制方法，通过影像采集设备采集视频数据，获得机器人当前的状态信息，该状态信息通过以太网传输到后台服务器，所述后台服务器内安装有实时控制软件程序，由实时控制软件程序计算出机器人下一步该执行的动作，该动作控制信息再通过以太网传回给机器人，控制机器人执行动作；其中，所述实时控制软件程序是K-means聚类算法和基于ε-Greedy贪心策略的核方法的结合，计算出机器人基于环境交互的实时动作。

上述技术方案中，所述K-means聚类算法和基于ε-Greedy贪心策略的核方法的结合方法是：

⑴根据需要执行的动作a，随机设定N个完成该动作的路径样本，然后通过K-means聚类算法在N个样本中选择中K个接近聚类中心的样本点，并初始化数据字典D；

⑵利用ε-Greedy贪心策略的探索方法，在上述K个样本点中，分别执行动作a，收集到相应的环境反馈状态s′以及下一个执行动作a′，并记录执行动作后获得的奖赏值r，一并汇总为Q值表，同时该Q值表内的数据将被每一次的尝试数据所更新；

⑶根据Q值表中的记录数据，找出完成所述执行动作a的最短路径δ_l，即为适合的控制方式，传送给所述机器人。