[发明专利]基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法

说明书

本发明涉及一种基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，通过获取数据集对目标检测网络进行训练，训练结束后即可使用该网络得到水下仿生蝠鲼机器鱼的方位和预测框位于像素坐标系下的位置。之后利用半全局双目匹配方法得到双目视差图，结合相机标定信息与视差像素搜索方法即可获得仿生蝠鲼机器鱼的相对距离估计。可以有效克服水下仿生蝠鲼机器鱼单体运动状态复杂、姿态变化幅度大、固定点位少，使用传统航行器类似的固定点位指示灯方式获取相对距离与方位估计难度较大的问题。

技术领域

本发明涉及计算机视觉与导航定位技术领域，特别地，涉及一种基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法。

背景技术

随着生物工程、流体力学、材料科学、计算机科学等相关领域和技术的发展，胸鳍推进这种在鱼类数亿年自然进化下，高效、低噪声且灵活的推进方式得以在水下航行器相关研究领域出现。蝠鲼作为胸鳍推进鱼类的一种，借鉴蝠鲼的胸鳍推进特性进行水下仿生蝠鲼机器鱼的研发也取得了一定的进展。

传统水下航行器实现集群编队时，可在航行器载体上固定指示灯进行相对距离及方位解算。然而水下仿生蝠鲼机器鱼机动灵活、运动复杂、姿态变化幅度大、固定点位少，在实现集群编队时，若仍使用传统航行器固定点位指示灯会难以获取精准的相对距离与方位信息，从而影响编队成员间的相互定位与编队的任务执行。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，解决当前水下仿生蝠鲼机器鱼间相对距离与方位估计困难的问题。本发明提供一种基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，采用深度卷积神经网络的方法直接对水下仿生蝠鲼机器鱼进行检测，得到其相对于邻居机器鱼的方位信息，接着结合双目距离测量，实时得到水下仿生蝠鲼机器鱼精确稳定的距离及方位信息。

技术方案

一种基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，其特征在于步骤如下：

S1：获取水下仿生蝠鲼机器鱼运动图像数据集，并进行类别标注与真实框标定；

S2：将图像和包含类别标注和真实框标定的标签文件同时送入用于目标检测神经网络中进行训练和验证；所述目标检测神经网络输出方位估计、方位预测的置信度和预测框在像素坐标系下的左上角坐标、右下角坐标；

S3：使用双目标定方法，获取左相机和右相机的内参矩阵、畸变参数，右相机相对于左相机的旋转矩阵和平移向量；

S4：对双目相机进行径向畸变与切向畸变矫正；

S5：通过双目立体匹配方法获取视差图；

S6：将S4经过矫正后的双目相机中左相机图像输入S2中训练好的目标检测神经网络中，获得水下仿生蝠鲼机器鱼预测框在像素坐标系下的左上角坐标、右下角坐标、相机位于水下仿生蝠鲼机器鱼的方位估计和方位预测的置信度；

S7：将S6得到的预测框左上角坐标、右下角坐标计算得到预测框中心点坐标和预测框像素面积；

S8：计算预测框像素面积所占图像总面积的比例，将其记为搜索范围参数；

S9：由搜索范围参数计算视差搜索像素范围，依照视差搜索像素范围将S5所得的视差图内对应每个像素点的视差值全部取出；

S10：使用S3所得的相机标定数据和S9所得的视差值计算各个像素点对应的相对距离值，取搜索范围内全部相对距离的最小值，即为水下仿生蝠鲼机器鱼的相对距离最后综合S6所得的方位估计即可估计出水下仿生蝠鲼机器鱼的相对距离与方位。