[发明专利]融合机器视觉与听觉的水下运动物体检测与识别方法

权利要求书

1.一种融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，步骤如下：

第一步：声视觉系统与光视觉系统的搭建

光视觉系统包括水下摄像机、照明设备用来满足获取光学图像和视频信息的要求；利用多波束声纳系统采集目标定位；

第二步：基于声视觉系统的预处理

基于声纳图像的图像处理和目标预测；

第三步：基于光视觉系统的目标检测与特征提取

当基于声纳图像的图像处理和目标预测检测到有目标位置时，将通过通讯系统输给水下机器人，并命令水下机器人到该位置处进行搜索，此时启动水下机器人的光视觉系统，采集视频视觉，光视觉系统利用计算机视觉技术，将运动物体的视频数据利用光流计算视频中每一帧的运动信息，并且利用运动分割技术将水下机器人的运动信息与实际目标物体的运动信息进行分割与特征提取，为下一步基于贝叶斯网络的追踪与识别提供特征信息；

第四步：基于贝叶斯网络的声与光视觉系统的融合

基于稀疏动态贝叶斯网络的框架将声视觉系统与光视觉系统融合起来，利用声学视觉系统获取的预判信息作为先验知识，将光视觉系统得到的运动信息和三维信息作为主要特征，通过贝叶斯网络的前馈和反馈机制对水下运动进行追踪，并利用贝叶斯分类技术进行目标识别。

2.如权利要求1所述的融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，第二步具体细化为：(1)图像增强；(2)图像恢复；(3)图像编码；(4)图像重建；(5)图像分析，其中，图像分析具体采用四叉树进行图像结构分解。

3.如权利要求1所述的融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，所述光视觉系统包括单目视觉系统，具体地：单目光视觉系统主要分为三大块：(1)视频采集，通过一个专用水下CCD感光摄像头和图像采集卡采集视频图像；(2)运动估计与分割，通过Optical flow计算视频中帧与帧之间的运动信息，并且利用水下机器人的惯导信息和运动分割算法，得到目标物体的运动信息；(3)特征提取，基于Sparse-coding的方法对运动信息进行特征提取从而得到贝叶斯框架中的目标观测部分的信息。

4.如权利要求1所述的融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，所述光视觉系统还包括双目光视觉系统，具体地，双目光视觉系统分为三大块：(1) 视频采集，利用2个专用水下CCD感光摄像头同时采集左右两幅图像；(2)三维重建，利用双目视觉的原理，对于每一帧的左右摄像头采集到的图像进行三维重建从而得到运动物体的深度信息； (3) 特征提取，与单目光视觉系统一样基于Sparse-coding的方法对运动信息进行特征提取从而得到贝叶斯框架中的目标观测部分的信息。

5.如权利要求1所述的融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，所述贝叶斯网络为稀疏的贝叶斯网络。