[发明专利]一种基于多传感器融合的消防机器人动作实时监测方法

摘要

本发明请求保护一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：通过摄像头实时获取火灾场景视频，并通过角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，对视频帧进行包括进行图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；对图像进行采集和处理后，通过卷积神经网络的模型构建图像识别模型；根据图像识别模型来识别并获取目标着火点位置，根据图像识别模型识别的目标着火点位置，对不同目标着火点位置设计不同的转向控制，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤。

主权项

1.一种基于多传感器融合的消防机器人动作实时监测方法，其特征在于，包括以下步骤：通过设置于消防机器人上的摄像头实时获取火灾场景视频，并通过设置于消防机器人上的角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，并基于火灾场景视频内容进行帧提取，对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；通过前向和横向加速度动态输出数据变化的明显差异，将消防机器人直线行走模式下的动作分为前进和后退、左移和右移两类；首先通过检测垂直方向加速度的波峰，并存储波峰所在采样点的位置信息,计算同一位置前向加速度的斜率来识别前进和后退；再通过检测垂直方向加速度的波谷，并存储波谷所在采样点的位置信息,计算同一位置横向加速度的斜率来识别左移和右移，判断出消防机器人的相对移动方向，相对移动方向是相对于进入火灾场景时初始位置的方向；对图像进行采集和处理后，根据采集到的图片构造出正负样本数据集，从中随机选择部分数据作为训练数据，利用得到的训练数据，通过卷积神经网络的模型构建着火点图像识别模型；根据图像识别模型来识别并获取目标着火点位置，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，其中根据图像识别模型识别的目标着火点位置，根据机器人的相对移动方向对不同目标着火点位置设计不同的转向控制，将图像垂直等分成3分，从左至右记为左区域、中间区域、右区域，根据图像识别出的着火点坐标与识别区域三等分线坐标的比较，求出下一时刻的偏转方向，当识别图像区域没有目标着火点时，控制消防机器人进入巡检模式进入另一个房间直到识别出目标着火点后，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤：机器人灭火动作的聚类分类步骤选择Adaboost分类器获取视频帧中的机器人灭火动作特征，在灭火动作库中匹配比对识别出具体灭火动作；并向用户输出机器人具体灭火动作位置及信息，灭火完成后根据相对移动方向规划出局部最优撤退路径，在t时刻，消防机器人的运动情况可以归纳为下面四类：1)当x<＝L/3时，即目标着火点在识别区域的左边时，说明目标着火点应该相对于当前移动方向向左转向灭火，因此nleft＝2L/3时，即目标着火点在识别区域的右边，说明机器人应该相对于当前移动方向向右转向灭火，因此nleft>nright，达到机器人右转的目标；3)当L/3卷积层‑>池化层‑>卷积层‑>卷积层‑>卷积层‑>池化层‑>全连接层‑>线性操作层。