[发明专利]一种基于多传感器融合的消毒机器人人体感知方法及系统

权利要求书

1.一种基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述方法包括：

对RGB相机与红外相机进行标定，获取两个相机之间的位置关系；

通过毫米波雷达人体检测模块来检测当前场景内是否存在人体，响应于存在人体时，调用RGB相机进行人体检测；

若RGB相机检测到人体则返回相应的人体数量、区域、方位信息，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；

将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机用来调整机器人的位姿与运动路径以躲避人体的干扰。

2.根据权利要求1所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述对RGB相机与红外相机进行标定的方法包括相机内参标定与相机的外参标定，

在RGB相机与红外相机的单目标定时，使用各自的相机拍摄视野范围内不同位置的标定板图片，然后调用Matlab中的Camera Calibrator相机标定工具箱进行单目标定，依次得到RGB相机与红外相机的内参矩阵与畸变矩阵；

使用Matlab中的Camera Calibrator相机标定工具箱进行双目标定，选择RGB相机作为主相机，得到红外相机相对于RGB相机的旋转平移关系，再结合RGB相机与红外相机的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，用于人体温度计算与环境温度计算。

3.根据权利要求2所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系：

Rt为两坐标系间的旋转关系，在本发明中两坐标系在同一平面内且确保坐标系XY方向一致，不存在旋转关系，Rt仅为单位矩阵，dx、dy为图4中的x、y方向的距离。

4.根据权利要求3所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述单目标定中相机坐标系(XC,YC,ZC)到像素坐标系(u,v)的转换关系：

R为两相机单目标定得到的相机内参。

5.根据权利要求4所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，根据双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系以及单目标定中相机坐标系(XC,YC,ZC)到像素坐标系(u,v)的转换关系计算得到两相机像素坐标系之间的转换关系：

R1、R2分别为RGB相机与红外相机的内参矩阵，(u1，v1)、(u2，v2)分别为RGB相机与红外相机的像素坐标系，dx、dy为x、y方向的距离。

6.根据权利要求1所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述调用RGB相机进行人体检测使用yolov5目标检测网络进行人体检测，通过在Jetsonnano板中部署yolov5网络，调取RGB相机进行人体识别，能够返回相机画面内部的人体数量、区域以及在画面中的位置信息。

7.一种基于多传感器融合的消毒机器人人体感知系统，其特征在于，所述系统包括：

毫米波雷达人体检测模块，用于检测RGB相机与红外相机方向是否存在人体；

RGB相机与红外相机，用于得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；

Jetson nano板，用于处理RGB相机、红外相机与毫米波雷达人体检测模块获取的数据并将处理结果融合，

机器人工控机，用于根据融合的结果调整机器人的位姿与运动路径。

8.根据权利要求7所述的基于多传感器融合的消毒机器人人体感知系统，其特征在于，所述Jetson nano板通过UART串口与机器人工控机连接。