[发明专利]一种用于深远海视觉养殖的光-声图像融合方法

权利要求书

1.一种用于深远海视觉养殖的光-声图像融合方法，其特征在于：包括如下步骤：

步骤1，光学相机的立体标定：包括径向畸变标定、水下双目立体视觉联合标定；

步骤2，成像声呐的标定：将声呐坐标系下的坐标点转换到视觉坐标系中；

步骤3，立体光学相机与多波束前视声呐的联合配准：将由光学相机与声呐两种不同图像识别传感器得到的不同观测角度、不同时空域条件下获取的同一区域信息的两幅及其以上图像进行联合配准，实现同一坐标系的转换；

步骤4，将光学图像映射到声学图像；

步骤5，将声学图像映射到光学图像；

步骤6，光学成像与声学成像的融合；

所述步骤3具体包括：

步骤3.1，将立体光学相机测量的三维点映射为类似声呐的数据；

步骤3.2，将声呐图像的像素坐标映射为物理坐标；

步骤3.3，通过刚体变换求得立体光学相机到声呐的映射；

所述步骤4具体包括：

步骤4.1，根据步骤3.3所得到的刚体变换关系，将光学物理坐标转换为声学物理坐标，具体计算公式为：

其中b为缩放因子，R为正交旋转矩阵，t为位移向量，为声学物理坐标，为光学物理坐标；

步骤4.2，将步骤4.1所得的声学物理坐标转换为声学图像像素坐标；

所述步骤5具体包括：

步骤5.1，将声呐像素坐标映射为物理坐标；

步骤5.2，将步骤5.1所得的物理坐标根据如下公式映射为光学物理坐标，

其中，为声变换为光的尺度因子，R^-1为旋转矩阵，为平移向量，t为位移向量，P′_s为声呐图像的物理坐标；

步骤5.3，确定视觉光学物理坐标与光学像素坐标之间的关系。

2.根据权利要求1所述的一种用于深远海视觉养殖的光-声图像融合方法，其特征在于，所述步骤5.3具体包括：

步骤5.3.1，确定右目图像的横坐标x_r＝k·K_u+u_o，其中，k＝tanθ，K_u为水平面方向的焦比，u_o为像素点横坐标；

步骤5.3.2，根据下式确定声学点对应光学坐标的轨迹，

其中，p＝x_l-x_r，q＝y_r-v_o，x_l、x_r分别为左右目图像特征点横坐标，y_r为右目图像特征点纵坐标，v_o为像素点纵坐标，R_o为三维点P_o到原点距离：K_u为水平面方向的焦比，为声变换为光的尺度因子；K_v为垂直轴方向的焦比；1+k²＝L，k＝tanθ；且m，n，L，p均大于0。

3.根据权利要求1所述的一种用于深远海视觉养殖的光-声图像融合方法，其特征在于，所述步骤6具体包括：

步骤6.1，根据立体光学相机与声呐同一场景图像对应的关键点，确定声光融合图像的对应关系和对应矩阵；

步骤6.2，通过对应矩阵，进行图像直接融合。

4.根据权利要求3所述的一种用于深远海视觉养殖的光-声图像融合方法，其特征在于，所述步骤6.2中图像直接融合的具体方法为基于像素加权平均的直接融合方法，图像融合的具体公式为：

P(u,v)＝0.2×P_光学(u,v)+0.8×P_声学(u,v)

式中，P(u,v)为融合后的图像像素，P_光学(u,v)为视觉养殖中立体双目相机的图像像素，P_声学(u,v)为视觉养殖中水下声呐的图像像素。