[发明专利]一种基于多传感器融合的消防机器人动作实时监测方法

说明书

本发明请求保护一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：通过摄像头实时获取火灾场景视频，并通过角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，对视频帧进行包括进行图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；对图像进行采集和处理后，通过卷积神经网络的模型构建图像识别模型；根据图像识别模型来识别并获取目标着火点位置，根据图像识别模型识别的目标着火点位置，对不同目标着火点位置设计不同的转向控制，进行机器人灭火操作，还包括对机器人灭火动作的聚类分类步骤。

技术领域

本发明属于机器识别领域，尤其涉及一种基于多传感器融合的消防机器人动作实时监测方法。

背景技术

随着机器人技术的不断普及，在硬件上已经制造出了能够在火灾场景下进入并进行灭火的机器人，在很多危险的场景下，运用机器人进行灭火，不仅效率高，而且可以大大降低不确定危险源带来的二次伤害，挽救消防员的生命。但是目前，市面上的消防机器人其控制算法还存在目标着火点不容易识别、机器人动作控制不明确的问题，导致有时候机器人灭火盲目，不能有效的完成任务。因此提供一种识别度高的适用于消防机器人算法就显得及其重要和迫切了。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可以提高识别准确度、反应迅速的基于多传感器融合的消防机器人动作实时监测方法。本发明的技术方案如下：

一种基于多传感器融合的消防机器人动作实时监测方法，其包括以下步骤：

通过设置于消防机器人上的摄像头实时获取火灾场景视频，并通过设置于消防机器人上的角速率传感器和重力传感器实时采集消防机器人的运动信息进行融合处理，实时解算消防机器人的姿态变化数据，并基于火灾场景视频内容进行帧提取，对视频帧进行包括进行去噪以及前后景分离图像在内的图像预处理；并根据角速率传感器获取的三轴加速度模值的动态变化特征，结合解算出的消防机器人航向角，识别消防机器人的直线行走模式；通过前向和横向加速度动态输出数据变化的明显差异，将消防机器人直线行走模式下的动作分为前进和后退、左移和右移两类；首先通过检测垂直方向加速度的波峰，并存储波峰所在采样点的位置信息,计算同一位置前向加速度的斜率来识别前进和后退；再通过检测垂直方向加速度的波谷，并存储波谷所在采样点的位置信息,计算同一位置横向加速度的斜率来识别左移和右移，判断出消防机器人的相对移动方向，相对移动方向是相对于进入火灾场景时初始位置的方向；

对图像进行采集和处理后，根据采集到的图片构造出正负样本数据集，从中随机选择部分数据作为训练数据，利用得到的训练数据，通过卷积神经网络的模型构建着火点图像识别模型；