[发明专利]一种基于多传感器融合的消毒机器人人体感知方法及系统

说明书

本发明公开了一种基于多传感器融合的消毒机器人人体感知方法，包括：对RGB相机与红外相机进行标定，通过毫米波雷达人体检测模块来检测场景内是否存在人体，调用RGB相机进行人体检测；若RGB相机检测到人体则返回，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，获得到人体的温度及环境背景温度信息；将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机调整机器人的位姿与运动路径以躲避人体的干扰。

技术领域

本发明涉及一种基于多传感器融合的消毒机器人人体感知方法及系统，属于机器人环境感知技术领域。

背景技术

公共场景的消杀需求量剧增，人工消杀不仅会导致消杀成本剧增且存在安全隐患。随着科学技术的发展，移动机器人技术日趋成熟，使用移动消毒机器人来代替人工进行公共场景的消杀，不仅保护了工作人员的安全性，且可以有效提升消杀效率与消杀成本。因此大量的消毒机器人应用于公共场景的消杀任务中，例如商场、仓库、餐厅等。

机器人的环境感知技术是指移动机器人能够通过搭载的特定传感器像人类一样来感知自身的环境信息。机器人的环境感知能力直接决定了机器人能够在何种环境下工作。目前，现有的消毒机器人均是在已经构建好的场景地图中进行导航，在导航过程中对场景进行消杀。但当消毒机器人的实际工作场景中具有人体等动态物体时，机器人仍按照之前构建的离线地图进行消杀时，由于目前的消毒机器人的环境感知能力较低，无法感知到人体的出现及相对自身的位置，因此消毒机器人无法根据人体的位置进行姿态与路径的调整来躲避人体，导致机器人卡死在某处，甚至无法正常工作。

发明内容

本发明的目的在于提供一种基于多传感器融合的消毒机器人人体感知方法及系统，以解决针对消毒机器人的实际工作场景中存在人体或其他障碍物时，实际场景相对于事先构建好的离线地图发生变化，消毒机器人难以做出相应的调整来躲避障碍物，进而导致难以在动态场景中进行消杀的问题。

一种基于多传感器融合的消毒机器人人体感知方法，所述方法包括：

对RGB相机与红外相机进行标定，获取两个相机之间的位置关系；

通过毫米波雷达人体检测模块来检测当前场景内是否存在人体，响应于存在人体时，调用RGB相机进行人体检测；

若RGB相机检测到人体则返回相应的人体数量、区域、方位信息，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；

将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机用来调整机器人的位姿与运动路径以躲避人体的干扰。

进一步地，所述对RGB相机与红外相机进行标定的方法包括相机内参标定与相机的外参标定，

在RGB相机与红外相机的单目标定时，使用各自的相机拍摄视野范围内不同位置的标定板图片，然后调用Matlab中的Camera Calibrator相机标定工具箱进行单目标定，依次得到RGB相机与红外相机的内参矩阵与畸变矩阵；

使用Matlab中的Camera Calibrator相机标定工具箱进行双目标定，选择RGB相机作为主相机，得到红外相机相对于RGB相机的旋转平移关系，再结合RGB相机与红外相机的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，用于人体温度计算与环境温度计算。

进一步地，所述双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系：