[发明专利]融合机器视觉与听觉的水下运动物体检测与识别方法

摘要

本发明涉及水下运动物体检测与识别领域，为解决水下光学与水下声学两种方法单独进行水下运动物体检测与识别的缺陷，能够及时准确的互通信息，使得水下目标的追踪与识别能够及时准确的实行。为此，本发明，融合机器视觉与听觉的水下运动物体检测与识别方法，步骤如下：第一步：声视觉系统与光视觉系统的搭建第二步：基于声视觉系统的预处理第三步：基于光视觉系统的目标检测与特征提取第四步基于贝叶斯网络的声与光视觉系统的融合。本发明主要应用于水下运动物体检测与识别。

主权项

1.一种融合机器视觉与听觉的水下运动物体检测与识别方法，其特征是，步骤如下：第一步：声视觉系统与光视觉系统的搭建。光视觉系统包括水下摄像机、照明设备用来满足获取光学图像和视频信息的要求；利用多波束声纳系统采集目标定位；第二步：基于声视觉系统的预处理基于声纳图像的图像处理和目标预测：第三步：基于光视觉系统的目标检测与特征提取当基于声纳图像的图像处理和目标预测检测到有目标位置时，将通过通讯系统输给AUV(Autonomous Underwater Vehicle)，并命令AUV到该位置处进行搜索，此时启动AUV的光视觉系统，采集视频视觉，光视觉系统利用计算机视觉技术，将运动物体的视频数据利用光流计算视频中每一帧的运动信息，并且利用运动分割技术将AUV的运动信息与实际目标物体的运动信息进行分割与特征提取，为下一步基于贝叶斯网络的追踪与识别提供特征信息；第四步：基于贝叶斯网络的声与光视觉系统的融合该部分基于稀疏动态贝叶斯网络的框架将声视觉系统与光视觉系统融合起来，利用声学视觉系统获取的预判信息作为先验知识，将光视觉系统得到的运动信息作和三维信息作为主要特征，通过贝叶斯网络的前馈和反馈机制对水下运动进行追踪，并利用贝叶斯分类技术进行目标识别。