[发明专利]基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法

权利要求书

1.一种基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，其特征在于步骤如下：

S1：获取水下仿生蝠鲼机器鱼运动图像数据集，并进行类别标注与真实框标定；

S2：将图像和包含类别标注和真实框标定的标签文件同时送入用于目标检测神经网络中进行训练和验证；所述目标检测神经网络输出方位估计、方位预测的置信度和预测框在像素坐标系下的左上角坐标、右下角坐标；

S3：使用双目标定方法，获取左相机和右相机的内参矩阵、畸变参数，右相机相对于左相机的旋转矩阵和平移向量；

S4：对双目相机进行径向畸变与切向畸变矫正；

S5：通过双目立体匹配方法获取视差图；

S6：将S4经过矫正后的双目相机中左相机图像输入S2中训练好的目标检测神经网络中，获得水下仿生蝠鲼机器鱼预测框在像素坐标系下的左上角坐标、右下角坐标、相机位于水下仿生蝠鲼机器鱼的方位估计和方位预测的置信度；

S7：将S6得到的预测框左上角坐标、右下角坐标计算得到预测框中心点坐标和预测框像素面积；

S8：计算预测框像素面积所占图像总面积的比例，将其记为搜索范围参数；

S9：由搜索范围参数计算视差搜索像素范围，依照视差搜索像素范围将S5所得的视差图内对应每个像素点的视差值全部取出；

S10：使用S3所得的相机标定数据和S9所得的视差值计算各个像素点对应的相对距离值，取搜索范围内全部相对距离的最小值，即为水下仿生蝠鲼机器鱼的相对距离，最后综合S6所得的方位估计，即可估计出水下仿生蝠鲼机器鱼的相对距离与方位。

2.根据权利要求1所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，其特征在于：S1所述的类别标注与真实框标定：以相机位于机器鱼的方位为划分，在水平面标注八个方位类别C，其中：C₀为左前侧、C₁为左后侧、C₂为右前侧、C₃为右后侧、C₄为前侧、C₅为后侧、C₆为左侧、C₇为右侧；真实框标定内容为仿生蝠鲼机器鱼位于像素坐标系下的左上角坐标(x_left，y_left)和右下角坐标(x_right，y_right)。

3.根据权利要求2所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法，其特征在于：S2所述的目标检测神经网络包括主干特征提取部分、颈部特征汇聚部分和检测头部分；所述主干特征提取部分由模块一和模块二组成，模块一由三个卷积核大小为3x3的卷积层组成用于对输入的原始图像进行维度与尺寸调整；模块二由22个残差连接块以1∶2∶7∶8∶4的比例分段连接组成，用于提取特征；每个残差连接块由一个卷积核大小为3x3的卷积层和一个作为残差连接并用于保证输入维度和输出维度一致的1x1卷积层组成；分段连接处穿插用于维度和图像尺寸二次调整的卷积核大小为3x3的卷积层，记五个分段分别为bloCk₁～block₅，输入模块一处理后的图像，各分段得到对应输出结果为out₁～out₅；所述颈部特征汇聚部分由三个上采样单元和三个汇聚单元组成，将主干特征提取部分的输出out₂～out₅，即四份特征图，进行上采样和汇聚操作；所述检测头部分由三个分类检测头和三个回归检测头组成，其中每个分类检测头和每个回归检测头均由三个卷积核大小为3x3的卷积层组成。