[发明专利]一种基于多模态技术的智能潜水监控系统

权利要求书

1.一种基于多模态技术的智能潜水监控系统，其特征在于：包括水上监控平台和水下潜水设备，

所述水上监控平台包括

监控设备，用于与水下潜水设备通讯连接，对数据的实时展示、保存，视频、传感器信息的多模态融合解析潜水员立体姿态，实时生成最佳潜水状态建议；

供电设备，用于与水下潜水设备电性连接，对水下潜水设备的能量供给；

升降机，用于与由其收放出水或下水的水下潜水设备连接；

所述水下潜水设备包括

潜水衣，穿戴于潜水员身上，所述潜水衣的关节点处安装有获取加速度、速度、旋转量信息的姿态传感器；

供氧设备，用于给潜水员提供氧气；

环境传感器模块，安装于潜水衣外表面，用于对潜水环境进行监测评估；

摄像照明设备，佩戴于潜水员头部，用于照明以及获取第一人称视角画面信息；

语音模块，佩戴于潜水员耳部，用于人机交互报警提示；

主控模块，安装于潜水衣内部，用于与姿态传感器、摄像照明设备、环境传感器模块、语音模块电性连接，将所述姿态传感器实时的输出移动矢量信息结合第一人称视角画面信息传输给监控设备，实时模拟出潜水员实时立体姿态，建立3D模型，并使用多模态融合的深度学习技术识别出当前潜水员的姿态类型；将环境传感器模块输出的环境数据处理判断后通过语音模块提醒潜水员；

其中所述姿态类型的识别过程如下：

S1、对三种模态的数据进行特征提取；三种模态包括图像数据、关节姿态传感器数据和高度位移传感器数据；对于图像数据，使用在ImageNet上预训练过的CNN网络进行图像特征提取,提取网络最后一层卷积层的输出作为视频帧的特征；对于关节姿态传感器数据和高度位移传感器数据,根据其时序特性，使用预训练的LSTM进行特征的提取；

S2、同时将三种模态的特征送入多模态共享表示学习；

S3、将所得到的同一时间不同模态的共享特征进行拼接,也即三个模态数据的融合特征；

S4、根据融合特征将姿态进行分类，姿态类型包括下潜，上升、悬浮、滑行、前进、转向。

2.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述实时立体姿态的实现方法如下：

通过各个关节上的姿态传感器获取相应信息；

采用扩展卡尔曼滤波方式解算出每个关节的四元数；

主控模块设置其中一姿态传感器的位置为基准点，计算每个关节处姿态的运动矢量和相对空间位置，得到人体的运动姿态；

结合基准点传感器获取的位移矢量模拟潜水各关节的姿态轨迹，从而得到实时立体姿态。

3.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述主控模块上还连接有保护模块，所述保护模块根据当前的潜水深度、潜水时间，依据潜水减压表规则决策出最佳潜水方式，其中潜水深度、潜水时间由高度计和压力计来统计；结合当前潜水者的心跳速率和血压大小，依据潜水减压表规则决策需要停留来保持身体对气压的适应。

4.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述潜水衣内还配设有人体特征监控传感器，包括体温传感器、血压传感器、心跳传感器，所述体温传感器、血压传感器、心跳传感器均与主控模块电性连接。

5.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述水下潜水设备还包括辅助显示模块，所述辅助显示模块与主控模块电性或通讯连接，用于显示人体特征状态信息、环境数据信息。

6.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述环境传感器模块包括高度计、压力计、温度计、流速计、PH值、陀螺仪。

7.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述主控模块上连接有供电系统，所述供电系统包括应急电源和短路保护模块。

8.根据权利要求1所述的一种基于多模态技术的智能潜水监控系统，其特征在于：所述水下潜水设备 的各模块均是高密封结构。