[发明专利]一种基于半监督视频目标分割的跳绳计数方法

权利要求书

1.一种基于半监督视频目标分割的跳绳计数方法，其特征在于，包括以下步骤：

步骤1、获取跳绳运动的原始视频数据，并从原始视频数据中提取出每一帧图像数据；

步骤2、基于半监督视频目标分割方法，采用STCN分割网络，引入特征逐像素随机失活机制，从步骤1得到的每一帧图像数据中分割出跳绳人物图像，其中：

当每一帧图像数据中人物为单个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，从每一帧图像数据中分割得到单个跳绳人物图像；

当每一帧图像数据中人物为多个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，先分割得到所有人物Mask图的像素分布，再从每一帧Mask图像数据中对各个跳绳人物进行分块，由此得到每一帧图像数据中各个跳绳人物图像；

步骤3、从步骤2得到的每一帧对应的每个跳绳人物图像中确定人物手部与绳子的相对位置，然后统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数，由此得到每个跳绳人物的跳绳计数。

2.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法，其特征在于，步骤2中，首先对STCN分割网络使用静态图像与各种视频序列中的连续/间断帧进行分割能力训练，使其能分割出大量不同种类的人物/物体，然后再应用于跳绳视频序列中，分割出单人/多人跳绳Mask图像；

训练分为两个阶段，第一个阶段为预训练阶段，预训练阶段中从步骤1得到的各帧图像数据中抽取若干图像数据，然后基于特征逐像素失活机制进行训练；第二阶段为公开数据集训练阶段，公开数据集训练阶段采用公开的数据集，两个训练阶段中均纳入了特征逐像素失活机制。

3.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法，其特征在于，步骤2中当每一帧图像数据中人物为多个时，根据Mask图的像素分布，从左至右按列进行像素统计， 以完成分块，过程如下：

步骤2-1、在STCN分割网络分割得到的包含人物与绳子的Mask图中从左至右方向的第一列开始，当某一列中不存在人物像素点时，继续向右列检测，当开始检测到人物像素时，标记为人物0，并持续向右检测人物、绳子像素存在情况直至人物消失，当绳子像素存在列数密度值超过预设阈值时，判定该人物为跳绳者，否则判定为旁观者或计数员等非跳绳者，人物0判定结束；

步骤2-2、继续向右检测，直至再次检测到人物像素，标记为人物1，向右直至像素列中人物消失，统计包含绳子像素的列数，以判断人物为跳绳者，或是其他无关人物；

步骤2-3、重复上述步骤2-1、2-2，直至最后一列像素列，最终完成跳绳人物的分块。

4.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法，其特征在于，步骤3中，记录每一帧对应的每个跳绳人物图像中人物手部与绳子的相对位置，并依此构建针对于该视频序列的记忆库，该记忆库为程序中即时创建的一个类，用于存取视频帧中每个跳绳人物图像中手部与绳子相对位置变化次数，由此得到每个跳绳人物的跳绳计数。

5.根据权利要求4所述的一种基于半监督视频目标分割的跳绳计数方法，其特征在于，所述记忆库的构建过程如下：

（1）、在每一帧对应的每个跳绳人物图像中，找到左、右手最外侧像素在图像中所处的对应高度值、，取平均值作为手部在图像中的高度位置,即；

（2）、通过高度位置为上、下两部分，收集上、下两部分对应的绳子像素数量；

（3）、用与的差值（作为最终判定值，正数表明绳子在人物手部上方，负数表明绳子在人物手部下方，由此得到每个跳绳人物图像中人物手部与绳子的相对位置状态；

（4）、记录步骤（3）得到的所述相对位置状态，并以此组建为记忆库。