[发明专利]一种基于计算机视觉的斑马鱼群检测与跟踪方法

摘要

本发明涉及一种基于计算机视觉的斑马鱼群检测与跟踪方法，属信息技术领域。该方法首先通过极值检测和局部区域椭圆拟合对鱼头区域进行定位和相关参数估算，然后结合卡尔曼预测和特征匹配对鱼群进行初始跟踪，最后根据检测和初始跟踪得到的信息，利用轨迹连接来处理鱼群运动中的遮挡问题。本发明的技术方案是包括目标检测和目标跟踪两部分，其中目标检测包括尺度空间DoH斑点检测、椭圆拟合和椭圆约束三个步骤，目标跟踪包括运动预测、特征匹配和轨迹连接三个步骤。本发明的有益效果在于能较好的处理鱼群的复杂运动带来的跟踪问题，具有跟踪准确，鲁棒性较强的优点。

主权项

一种基于计算机视觉的斑马鱼群检测与跟踪方法，其特征在于该方法由目标检测和目标跟踪两部分构成，其中目标检测包括尺度空间DoH斑点检测、椭圆拟合和椭圆约束三个步骤，目标跟踪包括运动预测、特征匹配和轨迹连接三个步骤；该方法的具体步骤如下：(1)尺度空间DoH斑点检测：设(x,y,s)表示图像在尺度空间的任一像素点，x,y为像素点坐标，s为像素点的尺度，该点对应的Hessian矩阵表示为：M(x,y,s)=LxxLxyLxyLyy]]>上式中Lxx,Lyy,Lxy分别表示高斯滤波器和点(x,y)在尺度s上的卷积结果，该矩阵的行列式值表示为：ΔM(x,y,s)＝(Lxx×Lyy‑Lxy2)×s4尺度空间斑点检测结果为Hessian矩阵在图像位置尺度和空间尺度的极值点：(x0,y0,s0)＝argminlocal(x,y,s)(ΔM(x,y,s))再对得到的每个极值点使用三线性插值方法来计算极值点对应的坐标和尺度值；(2)椭圆拟合：设极值点(x0,y0,s0)对应的Hessian矩阵为M(x0,y0,s0)，则矩阵的特征值和特征向量表示为：λ1=(Lx0x0+Ly0y0+(Lx0x0+Ly0y0)2+4Lx0y02)/2λ2=(Ly0y0+Ly0y0-(Lx0x0-Ly0y0)2+4Lx0y02)/2]]>α1=(Lx0y0(λ1-Ly0y0)2+Lx0y02,λ1-Lx0y0(λ1-Ly0y0)2+Lx0y02)Tα2=(Lx0y0(λ2-Ly0y0)2+Lx0y02,λ2-Ly0y0(λ2-Ly0y0)2+Lx0y02)T]]>上式中特征向量α1,α2分别对应特征值λ1和λ2，|λ1|>|λ2|，特征值的比值记为r＝λ1/λ2；以极值点(x0,y0)为中心，估算极值点区域的灰度变化并拟合椭圆；椭圆的长轴表示鱼头区域的长度，短轴width＝r×a表示鱼头区域的宽度，角度θ＝arctan(α2x/α1x)表示鱼头区域的朝向；椭圆区域和它周围区域的对比度变化表示为：(3)椭圆约束：首先使用宽度约束和尺度约束来去除因为噪音干扰产生的候选区域，宽度阈值和尺度阈值根据鱼的大小人工指定；经过宽度和尺度约束后，用OUST方法对图像进行区域分割；设最佳分割阈值为t，ω0和ω1分别为背景像素和前景像素在图像中所占比例，u0和u1分别为背景和前景的灰度均值，则t值由下式确定：t＝max[ω0(t)×ω1(t)×(u0(t)‑u1(t))2]根据分割的结果，当对比度contrast＞k×(u1/u0)时，该区域被认为是有效的头部区域，这里k作为对比度调节参数；在对比度约束后，如果在一个分割区域中，存在两个以上候选区域cr1,cr2…crn，它们对应的方向角和对比度分别为θ1,θ2…θn和c1,c2…cn，如果|θi‑θj|＜ε,1≤i,j≤n，保留对比度最大的候选区域删除其它候选区域；(4)运动预测：使用卡尔曼滤波器进行运动预测，系统的状态方程和观测方程分别描述为：xk＝Fxk‑1+wkzk＝Hkxk+vk其中：F和Hk分别为目标的状态转移矩阵和观测矩阵，wk和vk分别代表状态变量和观测变量的噪声，它们均设为独立不相干的零均值高斯噪声；要估计k时刻的状态xk，通过匀速运动模型来预测下一时刻的状态:xk-=Fxk-1]]>Pk-=FPk-1FT+Q]]>F=10Δt0010Δt00100001Q=1000010000100001]]>其中△t表示相邻两帧图像的采样时间间隔,和分别表示k时刻模型对状态变量和误差协方差的先验估计；在进行数据关联后，设关联的观测变量为按照下式对当前时刻的状态进行更新:xk=xk-+Kk(zk--Hxk-)H=10000100]]>Pk=Pk--KkHkPk-]]>其中，Kk为当前时刻的增益系数，它表示为：Kk=Pk-HT(HPk-HT+R)-1R=1001]]>对于卡尔曼滤波器预测失败的目标，使用补偿窗口对目标进行预测，补偿窗口为以椭圆中心为圆心，椭圆长轴的1.5倍为半径的圆区域；(5)特征匹配：首先进行特征计算，使用主动轮廓模型方法提取鱼头区域的轮廓，模型的初始区域为检测出的椭圆区域；设(xi,yi)为检测出的轮廓集合上任意一点，以椭圆中心点(x0,y0)为内端点，在方向角θ±15度范围内寻找距离(x0,y0)最远的轮廓点(xa,ya)作为外端点；然后以垂直于内外端点连线的方向，作通过(x0,y0)的直线，设该直线与轮廓的交点为(xb,yb)和(xc,yc),则两点间的连线为分割线，分割线与轮廓组成的闭合区域为目标的匹配区域，内外端点连线及其方向为匹配区域的对齐线；得到匹配区域之后，进行特征匹配；设k‑1时刻得到的分割线为Lk‑1,匹配区域为MRk‑1,则k时刻的分割线匹配为：wmk＝|Width(Lk)‑Width(Lk‑1)|其中，Width表示分割线的宽度；面积匹配为：amk=Area(MRkΔMRk-1)Area(MRk)]]>其中，△表示两个匹配区域根据对齐线对齐后的对称差集，Area表示区域的面积；灰度匹配为：gmk=Σi(HMRk(i)-HMRk-1(i))2HMRk(i)+HMRk-1(i)]]>其中，H表示区域的统计直方图；最后的特征匹配结果为：如果k时刻只有一个目标的匹配区域匹配成功，则把该目标作为关联的观测变量；如果有多个目标的匹配区域同时匹配成功，则选择特征值最小min(wmk·amk·gmk)的一个目标作为关联的观测变量；(6)轨迹连接：首先对轨迹做如下处理：如果发现关联观测变量的状态变量，则按照上述步骤(4)进行更新；并将该状态变量标记为有效状态；如果发现没有关联观测变量的状态变量，则为该状态变量关联虚拟观测变量，按照进行更新，并将该状态变量标记为无效状态；若轨迹连续T1帧还未关联到观测变量，则说明目标有很大概率停止不动，则将该轨迹标记为断裂状态，并且记录该轨迹最后一个有效状态变量关联的观测变量的出现时间et及位置ep为该轨迹的结束标记；如果发现没有关联状态变量的观测变量，首先对其进行跟踪的初始化操作，并且记录该观测变量的出现时间st及位置sp为新轨迹的开始标记，在接下来的跟踪中，该观测变量会出现两种情况:①如果观测变量是由错误检测产生的，则它将只会持续几帧时间，去除持续时间小于该长度的轨迹；②如果观测变量是由遮挡后重新出现的目标产生的，则将该轨迹标记为断裂状态；经过上述处理后，进行轨迹连接操作，设Γi为一条有结束标记的断裂轨迹,Γj为一条有开始标记的断裂轨迹，定义如下约束：时间约束：上式表明：如果轨迹Γj的开始标记出现时间晚于轨迹Γi的结束标记出现时间，且时间差小于T2，则两条轨迹满足时间约束；空间约束上式表明：如果轨迹Γi的结束位置与轨迹Γj的开始位置之间的距离小于D，则两条轨迹满足空间约束；如果两条断裂轨迹同时满足时间约束和空间约束，则它们属于一条轨迹的轨迹片段；接下来，对这两条轨迹的结束标记和开始标记所表示的观测变量，按照上述步骤(5)进行特征匹配，如果匹配成功，则把两条轨迹进行连接。