[发明专利]融合机器视觉与听觉的水下运动物体检测与识别方法

说明书

本发明涉及水下运动物体检测与识别领域，为解决水下光学与水下声学两种方法单独进行水下运动物体检测与识别的缺陷，能够及时准确的互通信息，使得水下目标的追踪与识别能够及时准确的实行。为此，本发明，融合机器视觉与听觉的水下运动物体检测与识别方法，步骤如下：第一步：声视觉系统与光视觉系统的搭建第二步：基于声视觉系统的预处理第三步：基于光视觉系统的目标检测与特征提取第四步基于贝叶斯网络的声与光视觉系统的融合。本发明主要应用于水下运动物体检测与识别。

技术领域

本发明涉及水下运动物体检测与识别领域(underwater moving objectdetection and recognition)，尤其涉及利用机器视觉与听觉融合的方法进行水下运动物体检测与识别，具体讲,涉及利用稀疏动态贝叶斯网络来融合水下视觉与水下声觉两种物体检测方法对不同运动物体的视觉图像与声学信号进行分类从而实现对水下运动物体的自动识别。

背景技术

水下运动物体追踪与识别一直是海洋科学与计算机科学与技术的共同难题。水下机器人(Autonomous Underwater Vehicle，简称AUV)是认识海洋的重要载体。AUV对于海洋数据的采集，海底资源勘探，海洋环境观测，信息搜集和水下工程建设都具有非常重要的作用。AUV的终极目标是实现真正的自主感知环境的能力，这就需要AUV能自主的检测水下环境，追踪并识别目标，从而制定决策并开展作业。虽然AUV在硬件及控制系统方面已经具有了非常大的进步，但是由于海洋环境的复杂和感知手段的有限，其自助感知环境的能力仍然不强，追踪与识别水下运动物体的能力很有限。

基于水下声学视觉(Acoustic Vision)的声纳系统(包括前视声纳、侧扫声纳、单波束声纳、多波束声纳、成像声纳等)和基于水下机器视觉(Aqua Vision)的光学摄像头是AUV感知周围环境的基本工具。声纳成像是一项广而粗的技术，它的探测距离广而深，但是由于受到海底暗流，水体的不均匀引起的声波反射和折射，海底不均匀导致的散射，各种水下生物的干扰，使得声纳成像具有非常强烈的斑块噪声，并且声纳图像没有颜色，不能提供纹理和形状信息，给水下物体追踪和识别造成巨大的困扰。最近，基于光学成像的单目或双目视觉技术已经开始应用到AUV上，虽然光学图像可以提供颜色，纹理和形状信息，但是由于光线在水中的传播距离非常有限，使得该技术只适用于于浅海区域，又由于浅海区域的水质比较浑浊，导致其目标检测和识别的能力没有得到相应的改善。为了克服单纯用声学视觉或光学视觉在水下物体检追踪与识别的难点，本发明旨在开发一种融合水下声学与光学视觉的一种新方法用于水下目标(包括沉船、鱼群、海底沉物、地貌底质等)的自动检测与识别，从而使得AUV在自主感知周围环境上有实质性的进步。

发明内容

为克服现有技术的不足，解决水下光学与水下声学两种方法单独进行水下运动物体检测与识别的缺陷，本发明旨在开发一种融合水下光学与声学技术的整体框架用于水下运动物体的检测与识别。该融合框架不但能够在水声和光学图像各自层面上进行有效的信息处理，而且通过设置前馈和反馈机制使得基于水声的预处理与基于光学的精细处理能够及时准确的互通信息，使得水下目标的追踪与识别能够及时准确的实行。为此，本发明采用的技术方案是，融合机器视觉与听觉的水下运动物体检测与识别方法，步骤如下：

第一步：声视觉系统与光视觉系统的搭建。

光视觉系统包括水下摄像机、照明设备用来满足获取光学图像和视频信息的要求；利用多波束声纳系统采集目标定位；

第二步：基于声视觉系统的预处理

基于声纳图像的图像处理和目标预测：

第三步：基于光视觉系统的目标检测与特征提取