[发明专利]一种基于深度视频的哺乳母猪姿态转换识别方法

权利要求书

1.一种基于深度视频的哺乳母猪姿态转换识别方法，其特征在于，包括如下步骤：

S1、采集母猪的深度视频，并建立母猪姿态转换识别视频库；

S2、建立改进的3DMaskR-CNN母猪检测、跟踪及姿态识别模型；包括：

S21、选择ResNet-18作为基础网络，通过Detectron框架进行模型训练；

S22、在RoIAlign阶段后，除了已有的3DClassificationHead之外，新添加一个头部2DClassificationHead，其中3DClassificationHead用于检测与跟踪母猪，新增的2DClassificationHead用于识别母猪姿态；

S23、基础网络的参数采用center初始化；

S24、根据深度视频中母猪的尺寸，设置锚点面积和长宽比；

S25、模型训练分两个阶段：第一阶段设置Trackcls输出类别数为2，包括母猪和背景，对基础网络、TPN、3DClassificationHead三个参数进行微调，2DClassificationHead部分参数固定不变；第二阶段剔除了改进的3DMask R-CNN训练集和验证集中母猪发生姿态转换的片段，设置Posecls输出类别数为5，包括背景、站立、坐立、趴卧和侧卧，仅对2DClassificationHead参数进行微调，其余部分参数固定不变；其中，对参数进行微调的方法采用随机梯度下降法和反向传播算法；

S3、用改进的3DMaskR-CNN对深度视频中的母猪进行检测、跟踪并识别母猪姿态；选取每帧中概率最大的姿态类别，形成母猪姿态序列，用姿态类别波动频次粗定位母猪姿态序列中的疑似转换片段，根据前后帧各类姿态的概率方差细定位疑似转换片段的起始帧和结束帧；包括：

S31、用改进的3DMaskR-CNN对深度视频中的母猪进行检测与跟踪并识别母猪姿态，输出每帧母猪的检测框及4类姿态概率，其中检测框由3DClassificationHead的reg层输出，4类姿态概率由2DClassificationHead的pose cls层输出；

S32、选取每帧中概率最大的姿态类别，形成母猪姿态序列，采用中值滤波对姿态序列进行修正；采用滑动窗口的方式计算每个窗口内姿态序列的变化次数，根据姿态类别的变化频率粗定位疑似转换片段，选取变化次数大于或等于3的片段作为疑似转换片段，其余片段作为单一姿态片段；

S33、细定位疑似转换片段的起始帧和结束帧，根据公式(1)计算疑似转换片段内每一帧与前后两帧的概率方差，

其中，P_t表示第t帧4类姿态的概率，P_t+i表示第t+i帧4类姿态的概率；sum(x)表示对矩阵x所有元素相加求和；设t_first为疑似转换片段内首次概率方差V_t大于0.1的视频帧，t_last为疑似转换片段内最后一次概率方差V_t大于0.1的视频帧；在t_first、t_last的基础上再向外扩张N帧，用于获取转换前后的上下文信息，则细定位后的疑似转换片段起始帧和结束帧分别为t_first-N和t_last+N，形成疑似转换片段；

S4、在疑似转换片段中，设计三阶段上下文深度运动特征图3C-DMM，以提取疑似转换片段的运动特征；包括：

S41、在疑似转换片段中，用改进的3DMaskR-CNN输出结果提取母猪检测与跟踪的外接矩形框；

S42、设计3C-DMM特征图，提取疑似转换片段外接矩形框内的运动特征，具体过程如下：

S421、初始化三张特征图，用于存储疑似转换片段3C-DMM特征，特征图大小与外接矩形框相同，特征图中所有元素均初始化为0：

S422、根据公式(2)-(7)，计算疑似转换片段外接矩形框内的3C-DMM特征，

其中，T为疑似转换片段长度，I_t为疑似转换片段中第t帧外接矩形内的灰度，t表示第t帧，公式(2)-(4)为3C-DMM特征的计算公式，公式(5)-(7)为系数W_r(t)、W_g(t)、W_b(t)的计算公式；

S5、将提取到的3C-DMM特征输入CNN姿态转换识别模型进行转换片段/非转换片段识别，获得识别结果。