[发明专利]一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法

权利要求书

1.一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法，其特征在于，包括以下步骤：

S1：借助多台摄像机获得若干水面漂浮物的连续视频帧；

S2：输入水面漂浮物视频数据，通过轻量化的SSD检测算法获取当前帧的水面漂浮物目标检测框；具体为：

所述轻量化SSD目标检测算法由骨干网络和辅助网络构成；第一，骨干网络主要参考轻量化MobileNetV2的网络结构，将MobileNetV2网络替换传统SSD检测算法中的VGG-16网络，将MobileNetV2网络卷积中的多尺度结构通过跨层连接构建特征金字塔网络，在MobileNetV2网络预测层中将深度可分离卷积代替传统标准卷积以降低参数和模型运算量；第二，辅助网络采用模型量化方法Quantized-CNN对深度可分离卷积的参数进行量化，量化过程主要通过改变深度可分离卷积中字空间数量和每个字空间中的字码数数量两个参数来完成；轻量化SSD检测算法获取视频目标检测框主要包括以下步骤：

(1)采用轻量化SSD目标检测算法中的特征金字塔网络获得当前帧中水面漂浮物不同尺度的特征响应图；

(2)将步骤(1)中得到的特征响应图通过轻量化SSD目标检测算法的特征提取网络MobileNetV2提取当前帧中的所有目标检测框；

(3)在步骤(2)中得到的所有目标检测框中，删除置信度低于0.7的检测框，并采用非最大值抑制方法删除冗余和重复的检测框，通过两次筛选得到当前帧中的最终目标检测框；

S3：基于视频当前帧的目标检测框采用卡尔曼滤波算法进行状态预测，获得当前视频帧下的水面漂浮物目标跟踪框；具体为：

(1)在步骤S2中通过轻量化SSD目标检测算法获得视频中第1帧中A个水面漂浮物目标检测框，并通过置信度阈值0.7和非最大值抑制方法两种方式筛选出B个目标检测框；

(2)为第1帧中的B个目标检测框中的每一个检测框分配一个卡尔曼滤波器；

(3)根据第1帧中的B个目标检测框，通过卡尔曼滤波器对第2帧中的水面漂浮物目标进行预测，获得第2帧下水面漂浮物的跟踪框；

(4)根据视频总帧数N，重复上述步骤(1)-(3)，直到获得第N帧下的水面漂浮物目标跟踪框；

S4：计算所有水面漂浮物目标检测框和跟踪框之间的运动匹配度和表观匹配度，将运动匹配度和表观匹配度进行综合匹配得到关联代价，并构建关联代价矩阵；具体为：

采用马氏距离衡量物体检测框dj和物体跟踪框yi之间的距离d⁽¹⁾(i，j)，衡量运动匹配度：

其中，d_j代表第j个检测框，y_i代表第i个跟踪框，代表卡尔曼滤波器预测得到的跟踪框与目标检测算法得到的检测框之间的协方差，T代表转置操作，t⁽¹⁾代表马氏距离特定阈值，代表跟踪框和预测框两者的运动匹配度；当马氏距离d⁽¹⁾(i，j)≤特定阈值t⁽¹⁾时，代表跟踪框和预测框两者关联，运动匹配度为1，匹配成功；

采用余弦距离d⁽²⁾(i，j)进行衡量表观匹配度，公式如下：

其中，代表余弦相似度，代表第k个跟踪框，余弦距离d⁽²⁾(i，j)＝1-余弦相似度，R_i代表在跟踪器i中所有的跟踪框；t⁽²⁾代表余弦距离特定阈值；代表跟踪框和预测框两者的表观匹配度；当最小余弦距离d⁽²⁾(i，j)≤特定阈值t⁽²⁾时，代表跟踪框和预测框两者的表观匹配成功；

基于S4中的运动匹配度和表观匹配度计算结果，加权计算得到关联代价矩阵C_i，j：

C_i，j＝λd⁽¹⁾(i，j)+(1+λ)d⁽²⁾(i，j) (5)

其中，λ代表运动匹配度的权重，1+λ代表表观匹配度的权重，b_i，j代表第j个检测框和第i个跟踪框的匹配性，当b_i，j＝1时，代表第j个检测框和第i个跟踪框初步匹配；

S5：通过匈牙利算法将水面漂浮物的关联代价矩阵C_i，j进行关联匹配，确定跟踪结果，实现水面漂浮物多目标跟踪；具体为：

(1)设定马氏距离特定阈值t⁽¹⁾和余弦距离特定阈值t⁽²⁾，将t⁽¹⁾与d⁽¹⁾(i，j)进行比较，将t⁽²⁾与d⁽²⁾(i，j)进行比较；

(2)将大于t⁽¹⁾的d⁽¹⁾(i，j)和大于t⁽²⁾的d⁽²⁾(i，j)来计算关联代价矩阵C_i，j，将所对应的目标检测框和目标跟踪框中的水面漂浮物作为一组跟踪结果。