[发明专利]基于深度学习的运动辅助训练方法

说明书

本发明涉及一种基于深度学习的运动辅助训练方法，包括预处理目标运动员的视频数据、训练运动员目标检测网络、训练关键点检测网络、训练动作检测网络等步骤，通过训练三个不同功能卷积神经网络组合的创新型的深度学习模型，对运动员进行目标检测、关键点识别以及动作识别。本发明提高了检测模型的识别精度以及不同环境下的适用性，减少了模型对数据集参数的依赖性，一定程度上提高模型的鲁棒性。

技术领域

本发明涉及计算机视频分析技术领域，具体涉及一种基于深度学习的运动辅助训练方法。

背景技术

近些年来，基于深度学习的视频采集与智能处理技术在各个领域均有建树，随着海量视频数据的产生与采集，人工进行识别与分析的难度与人数要求都在不断上升。随着视频数量与类型的不断上升，工作人员的专注程度以及工作效率会发生下降。因此，针对采集视频的智能视频分析方法有着重要意义。

特别的，花样滑冰运动作为冰上运动的典型项目，在进行日常训练或比赛评分中，需要大量的人工成本以及专业知识进行辅助。同时考虑到花样滑冰中动作的复杂性以及运动员的差异性，有必要发展基于深度学习与机器视觉的动作识别方法进行智能分析识别。

发明内容

有鉴于此，本发明要解决的技术问题在于提供一种基于深度学习的运动辅助训练方法，以深度学习模型为基础，利用多种类、多功能的卷积神经网络进行运动辅助训练。

本发明通过训练三个不同功能卷积神经网络组合的创新型的深度学习模型，对运动员进行目标检测、关键点识别以及动作识别，包括如下步骤：

步骤1：预处理目标运动员的视频数据，将对视频抽帧得到的图像中人体骨架关键点进行标注，形成样本图像，并将动作类别作为标签；

步骤2：构建所述人体骨架关键点的骨架检测网络和动作检测网络，其中所述骨架检测网络由运动员目标检测网络和关键点检测网络组成，进一步包括如下步骤：

步骤2-1：训练运动员目标检测网络，基于所述样本图像进行特征提取和权重更新，得到所述目标运动员的具有权重的人体骨架关键点特征；

步骤2-2：训练关键点检测网络，基于所述样本图像映射得到多分辨率的特征图，通过对不同分辨率的特征图直接相加进行特征融合，将分辨率最高的特征图作为模型输出；

步骤2-3：训练动作检测网络，采取图卷积神经网络对所述人体骨架关键点及连接进行空间域上的图卷积，得到所述人体骨架关键点及连接的空间特征，并采取时序卷积网络对所述人体骨架关键点及连接进行时间域上的卷积，得到所述人体骨架关键点图在叠加下的时序特征和训练时间中人体骨架关键点变化的局部特征，基于对所述空间特征、时序特征和局部特征的分类预测所述目标运动员的对应动作；

步骤3：识别视频动作，得到所述人体骨架关键点与目标运动员之间的对应关系并进行连接，将人体骨架检测结果输入所述动作检测网络进行动作识别，基于对应的所述标签输出动作类别。

本发明与现有技术相比的优点在于：

1.本发明提高了检测模型的识别精度以及不同环境下的适用性，可以有效的解决花样滑冰运动较复杂的问题；

2.本发明允许特征信息沿着空间和时间两个维度进行整合，减少了模型对数据集参数的依赖性，更好的挖掘人体骨架关机点时序集合的特征；

3.本发明可以将大规模常规数据集训练后的模型参数作为预训练权重，弥补数据集数量及类别较少的缺点，一定程度上提高模型的鲁棒性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。