[发明专利]一种基于多传感器融合室内人体姿态识别方法

摘要

本发明设计一种基于多传感器的人体姿态识别方法，属于移动机器人的室内场景识别方法。该方法包括：1)部署光学、深度和红外三个传感器2)采集同一场景三个传感器的图像并对三个传感器图像进行图像校准3)利用预先训练好的深度神经网络识别当前人体实时姿态。本发明通过机器学习和计算机视觉算法对多传感器数据进行融合处理和综合决策，解决传统基于单一传感器识别方法的诸多限制和瓶颈，大大提高了室内人体的多种姿态识别的准确性和鲁棒性。

主权项

1.本发明提出一种基于多传感器融合的人体姿态识别的方法，其特征在于，包括以下步骤：步骤1：在移动机器人的头部部署光学、深度和红外三个传感器；步骤2：控制中心控制所述传感器以一定的采样频率同步采集数据并传输到处理中心；步骤3：处理中心对采集到的不同模态的场景数据进行图像配准和增强处理；步骤4：处理中心对处理后的场景数据输入到深度神经网络来识别当前人体实时姿态。本发明的实施形态，其特征是：将光学摄像头，深度传感器，和红外传感器三种不同的传感器放在部署在移动机器人的头部，并由控制中心同步采集光学图像，深度图和红外热成像图；处理中心对三种模态的场景图像进行配准处理后，通过深度神经网络进行模态融合和姿态识别。本发明的效果在于：在深度学习框架下将三种传感器获取的场景图像进行融合识别达到鲁邦识别人体姿态的目的。它能够综合各传感器的优势，并利用他们之前的互补信息弥补他们的不足，如在光线较弱造成光学传感器无法捕捉场景信息时，利用深度和红外进行人体定位；当深度信息在物体边缘和遮挡区域出现空洞而影响识别时，红外热源信息能够进一步排除干扰，增加人体定位准确度。