[发明专利]一种机器人全天候自主跟随目标人员的方法及系统

说明书

本发明公开了一种机器人全天候自主跟随目标人员的方法及系统，该方法包括：获取机器人视野的图像和激光点云数据，日间跟随模式中，基于获取的图像，确定目标人员，获取包围目标人员的感兴趣区域；通过坐标系变换，获取感兴趣区域对应的点云区域，进而获得目标人员点云，确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置，控制机器人移动，实现自主跟随；夜间跟随模式中，基于日间跟随模式所确定的目标人员点云，进行持续跟随。本发明通过融合图像数据和激光雷达点云数据，根据日间跟随模式中确定的目标人员点云数据，实现夜间基于点云数据的目标人员精准跟随，进而实现机器人全天候目标人员自主稳定跟随。

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种机器人全天候自主跟随目标人员的方法及系统。

背景技术

随着科技的进步和发展，服务机器人逐渐成为机器人技术应用最具发展前景的领域，人们对具备跟随功能的服务机器人的需求也越来越大。通过运用人员检测与跟随技术，可以定位人员不同位置和匹配不同时间的运动轨迹，提取丰富的时空信息，使得机器人可以在多种应用场景中提供帮助，比如战场救援、医疗看护、居家陪护和跟随人员运输物品等。

全天候自主跟随机器人作为一门涉及机器人运动控制、计算机视觉、传感器数据融合和机器学习等众多科研领域的系统性学科技术，是当前机器人研究领域的热门研究方向之一。人员跟随任务是指给定初始目标人员及其位置，通过前一帧图像中目标人员的位置及其运动的方向、速度等信息预测下一帧图像中目标人员的位置、速度和方向，从而实现对目标人员的准确定位与持续跟踪。在目标人员跟随过程中，常常会由于目标人员被遮挡或离开了机器人视野而导致机器人跟随目标丢失，跟随任务失败；而人员重识别的任务就是在目标丢失后对视野中所有人员进行检测并重新识别出丢失的目标人员，从而实现机器人继续跟随。

现有的机器人通常使用单目相机、双目相机或激光雷达等传感器以图像或三维点云的形式获取外部数据，并采用多种算法对数据进行处理和计算，以实现特定场景任务。

中国专利(申请号为202110881571.0)公开了一种移动机器人的目标人员跟随控制方法及系统，该系统采用单目相机获取目标人员的图像，通过检测目标的关节关键点进行跟随，并使用深度学习进行人员重识别。由于该系统仅依赖单目相机对目标人员进行检测与识别，无法在夜间工作，因此，该系统无法实现目标人员的夜间跟随，且该系统对于目标人员的位置估计准确度较低；中国专利(申请号为202010005542.3)公开了一种目标跟随机器人及跟随方法，该系统采用单目相机与激光雷达进行数据融合，通过训练神经网络模型对图像特征进行识别，根据识别结果赋予三维点云的特征信息，根据三维点云的特征进行目标识别与跟随。然而，在该方法中三维点云的特征高度依赖图像识别的结果，在夜间若由于光照条件导致相机失效，则目标跟随机器人系统将无法正常工作。

也就是说，现有的机器人在自主跟随目标人员的过程中，均需要依赖相机获取图像，虽然相机能够提供稠密的纹理与色彩信息，便于目标人员的识别，但是相机容易受环境光照变化的影响且无法在夜间工作，进而导致无法基于图像识别目标人员，因此，现有机器人难以实现目标人员的夜间跟随。

发明内容

为解决上述现有技术的不足，本发明提供了一种机器人全天候自主跟随目标人员的方法及系统，通过融合图像数据和激光雷达点云数据，弥补各自的感知缺陷，稳定且鲁棒的获取目标人员的位置信息，根据日间跟随模式中确定的目标人员点云数据，实现夜间基于点云数据的目标人员精准跟随，在夜间跟随的过程中仅依赖点云数据而并不依赖图像识别，进而实现机器人的全天候目标人员自主稳定、精准跟随。

第一方面，本发明提供了一种机器人全天候自主跟随目标人员的方法，包括以下步骤：

获取机器人视野的图像和激光点云数据，根据图像自动切换日间或夜间跟随模式；