[发明专利]基于摄像机标定及深度学习算法的船舶身份识别系统

权利要求书

1.基于摄像机标定及深度学习算法的船舶身份识别系统，其特征在于：包括如下步骤：

步骤1，建立船舶检测器，包括如下步骤：

步骤11，确定YOLO模型的网络结构：YOLO模型网络结构包括输入层、隐含层和输出层；其中，输入层为视频帧图像，输出层为视频帧图像中是否含有船舶以及船舶在其中的像素位置；

步骤12，训练YOLO模型：首先设定YOLO模型中的batch size及网络输入大小；然后，收集CCTV视频数据，抽取视频帧中含有船舶的图像进行样本标注，形成数据集样本；采用数据集对步骤11确定的YOLO模型网络结构进行训练，确定连接权值；训练完成的YOLO模型，称为船舶检测器；

步骤2，船舶检测：采用步骤1建立的船舶检测器对实时视频流中的每一帧图像进行船舶检测，判断当前视频帧中是否含有船舶以及检测出船舶在视频帧图像中的像素位置；

步骤3，船舶跟踪：设计KCF多目标跟踪器，对步骤2中检测出的船舶目标进行跟踪；

步骤4，获取船舶AIS像素坐标：标定相机的内参和外参；接入AIS信号，获取船舶实时的经纬度及身份信息，通过四个坐标系的转换关系，并结合相机的内参和外参，将船舶的经纬度坐标转换为视频帧图像中的船舶AIS像素坐标；

其中，计算从世界坐标系转图像坐标系时，引入径向和切向畸变矫正；

径向畸变矫正公式为：

u′＝u(1+k₁r²+k₂r⁴+k₃r⁶)

v′＝v(1+k₁r²+k₂r⁴+k₃r⁶)

式中，u′和v′为畸变矫正后的像素坐标，u和v分别为矫正前像素坐标，k₁、k₂和k₃为径向畸变矫正系数，r是像素点与距离中心距离；

切向畸变矫正公式为：

u′＝u+[2p₁v+p₂(r²+2u²)]

v′＝v+[p₁(r²+2v²)+2p₂u]

式中，u′和v′为畸变矫正后的像素坐标，u和v分别为矫正前像素坐标，p₁和p₂为切向畸变矫正系数，r是像素点与距离中心距离；

图像坐标与相机坐标下的转换关系如下：

式中，x_c、y_c和z_c是相机坐标系下的坐标，u、v是图像坐标系下的坐标，dx、dy分别是图像x、y方向上单位毫米像素个数，h是相机安装高度，θ是相机的俯仰角，u₀和v₀是图像中心点像素位置，f表示相机焦距；

步骤5，匹配船舶位置：将步骤4中获取的船舶AIS像素坐标和步骤3中检测出船舶在视频帧图像中的像素位置进行匹配；

步骤6，船舶身份识别：当步骤5中匹配成功时，则直接利用步骤4获取的船舶身份信息；当未匹配成功，则认为跟踪船舶是未开AIS船舶，利用深度学习方法识别船舶身份；采用深度学习识别船舶身份的方法，包括如下步骤：

步骤61、建立船舶特征数据集：采集各种类型船舶的全景图片，提取VGG16特征进行训练，建立船舶特征数据集；

步骤62，深度学习识别船舶身份：对于未开AIS船舶的图片，提取该船舶的VGG16特征，并采用最小余弦距离在步骤61中建立的船舶特征数据集中进行检索，得到未开AIS船舶的身份信息。