[发明专利]一种基于半监督视频目标分割的跳绳计数方法

说明书

本发明公开了一种基于半监督视频目标分割的跳绳计数方法，包括以下步骤：步骤1、获取跳绳运动的原始视频数据并提取出每一帧图像数据；步骤2、基于半监督视频目标分割方法，从步骤1得到的每一帧图像数据中分割出单人或多人跳绳人物图像；步骤3、从每个跳绳人物图像中确定人物手部与绳子的相对位置，基于相对位置关系得到每个跳绳人物的跳绳计数。本发明具有数据处理量小、数据处理过程简便的优点，不仅可以对单人跳绳进行计数，而且可以对多人跳绳进行实时计数，具有很高的应用价值。

技术领域

本发明涉及跳绳运动监测方法领域，具体是一种基于半监督视频目标分割的跳绳计数方法。

背景技术

目前利用视频、音频等对跳绳、拍球、踢毽子等健身运动进行自动计数已经有很多的应用，但还是存在着通过身体部位识别容易误计数,或者只能对单人跳绳进行计数等缺陷。

现有技术公布号为CN109876416A和CN110210360A的中国专利文献公开的一种基于图像信息的跳绳计数方法和一种基于视频图像目标识别的跳绳计数方法，通过识别绳子和人脸位置的方法来进行计数。公布号为CN110102040A的中国专利文献公开的一种基于互相关系数法的音频跳绳计数方法，该方法通过识别绳子接触地面的声音来达到判断跳绳的次数。公布号为 CN112044046A的中国专利文献公开的基于深度学习的跳绳计数方法，该方法通过对获得的图像数据进行预处理，然后利用训练好的模型分类，并根据分类结果判断当前运动状态，最后统计跳绳状态变化次数进行计数。这几种方法只能对单人跳绳进行计数，无法实现多人跳绳场景的计数。

公布号为 CN112044047A的中国专利文献公开的基于多目标跟踪的跳绳计数方法，该方法通过识别人脸位置变化来达到判定跳绳次数，在跳绳过程中当人物靠近或远离摄像头）的影响下，在画面中人脸的位置与占比往往会随着时间发生变化，因此而引起计数误差。

公布号为CN 113627396 A的中国专利文献公开的一种基于健康监测的跳绳计数方法，该方法中公开了通过PoseN et模型对跳绳图像进行处理，由此得到跳绳计数的技术手段。虽然该方法的技术手段可以用于单人和多人跳绳计数，但其需要选择数量较多的多个（文献中为17个）身体姿态关键点，以进行热图编解码，还要针对抖动进行抖动抑制计算，才能得到跳绳计数，因此存在数据处理量大、数据处理过程复杂的问题，无法实现跳绳计数的快速检测。

发明内容

本发明的目的是提供一种基于半监督视频目标分割的跳绳计数方法，以解决现有技术基于图像处理的跳绳计数方法存在的数据处理量大、数据处理过程复杂的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于半监督视频目标分割的跳绳计数方法，包括以下步骤：

步骤1、获取跳绳运动的原始视频数据，并从原始视频数据中提取出每一帧图像数据；

步骤2、基于半监督视频目标分割方法，采用STCN分割网络，引入特征逐像素随机失活机制，从步骤1得到的每一帧图像数据中分割出跳绳人物图像，其中：

当每一帧图像数据中人物为单个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，从每一帧图像数据中分割得到单个跳绳人物图像；

当每一帧图像数据中人物为多个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，先分割得到所有人物Mask图的像素分布，再从每一帧Mask图像数据中对各个跳绳人物进行分块，由此得到每一帧图像数据中各个跳绳人物图像；

步骤3、从步骤2得到的每一帧对应的每个跳绳人物图像中确定人物手部与绳子的相对位置，然后统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数，由此得到每个跳绳人物的跳绳计数。

进一步的，步骤2中，首先对STCN分割网络使用静态图像与各种视频序列中的连续/间断帧进行分割能力训练，使其能分割出大量不同种类的人物/物体，然后再应用于跳绳视频序列中，分割出单人/多人跳绳Mask图像；