[发明专利]一种基于视觉显著性的攻击行为猪的识别方法

权利要求书

1.一种基于视觉显著性的攻击行为猪的识别方法，其特征在于，包括以下步骤：

步骤1，采集猪圈中带有攻击事件的彩色俯视群养猪视频；

步骤2，对猪舍中的群养猪目标图像利用基于金字塔分层的Lucas-kanada光流法进行光流信息的提取；

步骤3，猪的攻击事件判断的处理：

步骤3.1，猪的相邻帧间光流方向差分图的构建；

步骤3.2，根据猪的相邻帧间光流方向差分图和光流面积对猪的攻击事件进行判断；

步骤4，空间域显著图的处理：

步骤4.1，超级像素的形成；

步骤4.2，确定超像素的颜色值和显著性值，形成空间域显著图；

步骤5，时间域显著图的处理：

步骤5.1，攻击区域的确定；

步骤5.2，将攻击区域的光流值映射到灰度图形成时间域显著图；

步骤6，将空间域显著图与时间域显著图融合为时空显著图的处理；

步骤7，识别出发生攻击行为的猪；

步骤2具体为：通过使用基于金字塔分层的Lucas-kanada光流法，先缩小图像的尺寸来减少图像中物体的运动位移，再计算每个点在下一帧同一位置处的邻域内的匹配误差和的最小处，构成方向向量完成光流信息的提取；

步骤3.1具体为：当猪在正常行走时，相邻帧间光流的幅值和方向的变化缓慢，当猪圈中发生攻击行为时，猪会快速移动，相邻帧间光流的方向和速度会产生剧烈变化，构建相邻帧间光流方向差分图包括：

步骤3.1.1，将0-360度的空间方向化分成12等分，每个方向区间为30度，从水平0度开始；

步骤3.1.2，利用基于金字塔分层的lucas-kanada光流法对视频中的每帧图像提取的光流信息将光流点分布到对应的方向区间；光流点的角度θ及幅值|d|的计算公式如下：

其中，d_x和d_y表示点(x,y)处光流在水平和垂直方向上的分量，θ(x,y)表示该点光流方向与水平方向的夹角度数，|d|表示该点光流的幅值；建立一个12维方向向量V，包含12个角度区间分量V_i(i＝1,2,…,12)，每个区间30度，如区间i＝1,相应的区间分量V₁就表示从水平0度到30度区间中光流点的个数，计算出任一光流点(x,y)在水平和垂直方向上速度的大小d_x和d_y，就可以得到θ的值，进而确定该点所属的方向区间V_i；

步骤3.1.3，对于前后相邻帧的光流区间分布Vⁱ和Vⁱ⁺¹，Vⁱ表示在第i帧光流的12维方向向量V，做差后求绝对值，便得到相邻帧间光流方向差分图DOH，其计算公式如下：

DOH_i＝|Vⁱ-Vⁱ⁺¹| (3)；

步骤3.2具体为：当猪发生剧烈地运动时有两种情况；

第1种情况：突发性地非攻击运动，此时，猪虽然在相邻帧间速度变化的幅度很大，但是这种情况下的突然运动是单一方向的运动，即在一个方向区间上幅值变化很大；

第2种情况：发生攻击事件，当攻击行为产生后，由于猪的肢体发生了剧烈碰撞，因此在连续帧间猪的运动方向会产生变化，在DOH上表现出来的是在多个方向区间上有明显的幅值变化；根据V_i的12个区间的幅值变化，设置一个嫌疑性幅值阈值V^m，选取最小阈值V^m，发生攻击事件时最少参与猪是2只，产生最小光流变化的攻击行为是头-头攻击，最极端的情况下是一只猪的头部呈直线型攻击了另一只猪的头部，因此在5分帧有限的时间下的连续帧图像中，攻击事件发生的方向变化在90度范围内，所以只需要在DOH图中有三个连续的方向区间的幅值和大于猪头面积即可，当存在V_i-1+V_i+V_i+1＝V^m时，即相邻帧间光流在i和i±1方向区间上幅值和的变化大于等于V^m时，该连续帧被判为有攻击嫌疑，其中，V_i-1、V_i及V_i+1为光流方向差分图上三个相邻方向区间上光流点的个数，当i＝0时，V₀＝V₁₂，表示区间分量V₁₂为从水平330度到360度区间中光流点的个数；当没有找到一组连续三个区间上的幅值和大于V^m时，表示猪只正常活动；

步骤4具体为：考虑到图像的相邻像素之间在色彩，纹理上会因相似性而在一定区域内出现聚集的特征，因此根据像素之间的颜色相似性以及空间位置上的接近程度，对判断为包含猪的攻击事件的图像用简单线性迭代聚类法进行超线性像素分割，将像素聚类，然后对形成的超级像素所包含的像素求颜色值的平均值作为其颜色值，再逐个计算每个超级像素与整个图像中其它所有超级像素在颜色上的距离之和作为该超级像素的显著性值，最后形成空间域显著图；包括：

步骤4.1，先将图像由RGB色彩空间转换到Lab色彩空间，然后用简单线性迭代聚类法通过将像素的L、a、b值和其对应的X、Y坐标所构成的5维特征向量构造距离度量标准，其中L表示亮度，a和b表示颜色对立维度，最后图像进行局部聚类，形成超级像素；

步骤4.2.1，对每个超级像素内包含的所有像素的颜色值求平均值作为该超级像素的颜色值；

步骤4.2.2，确定超级像素的显著性值；

定义一幅图像中第i个超级像素C_i和第j个超级像素C_j间的颜色距离度差异D_r(c_i,c_j)为：

其中，L_i、L_j分别为超级像素C_i、C_j的亮度值，a_i、a_j和b_i、b_j分别为超级像素C_i、C_j两种不同的颜色对立维度；

对每个超级像素C_k，通过测量它与图像中其它超像素的颜色值的对比度来计算它的显著性值Sp(c_k)：

其中，c_i为超像素的颜色值，n为图像中超像素所含颜色总数，W(c_i)为c_i在在图像中出现的概率；

步骤4.2.3，空间域显著图的形成空间加权对比度：加入空间信息以增加区域的空间影响效果，较近的区域增大影响，较远的区域减小影响，对任意的超像素C_k，基于空间加权区域对比度的显著性定义为：

超像素C_k和C_i的空间距离D_s(c_k,c_i)定义为两个区域中心的欧氏距离为：

其中，(x_k，y_k)和(x_i，y_i)分别为两个区域中心的坐标，σ_s表示空间权值强度，其值越大代表较远区域的对比度会对当前区域的显著性值做出较大的贡献，σ_s²取0.4，像素坐标归一化到[0,1]区间；

步骤5具体为：考虑到当群养猪中发生攻击事件时，发生攻击行为的猪具有较大的光流值并且附近的光流点出现了聚集现象，将出现多处聚集的连通区域定义为事件区域，结合事件区域的面积因素和光流幅值因素选取攻击区域，屏蔽非攻击区域，最后将攻击区域光流的幅值映射到灰度图，形成时间域显著图；具体包括：

步骤5.1，利用得到的光流信息对包含猪的攻击事件的连续帧图像进行事件区域的分割后选取攻击区域，忽略非攻击区域；

步骤5.1.1，按照速度从大到小的顺序，对光流点依次排序，从速度最大的点开始分割，对其邻域进行生长直到光流点速度大小为0，该区域记为一个事件区域；对第二大速度的光流点进行操作，若该点已被划分到事件区域，则对剩下的点依次重复操作，直到结束；

步骤5.1.2，将所划分的事件区域按照面积从大到小依次排序；对待选取的攻击区域分别求其光流点速度值的平均值，选取速度平均值最大的区域作为攻击区域；

步骤5.2，令非攻击区域速度值为0，攻击区域内的速度值映射到图像的灰度值[0,255]区间形成时间域显著图；则其对应的灰度值G为：

其中，速度值的最大值为E_max，最小值为E_min。