[发明专利]图示识别及动作矫正系统及方法

说明书

本发明公开了一种图示识别及动作矫正系统，本发明还公开了一种图示识别及动作矫正方法，包括如下步骤：S1.获取测试视频；S2.设计、训练并测试基于单目视觉的深度卷积神经网络；S3.构建人体姿态的时域结构化表达；S4.输出不匹配动作，输出评价较低的视频段和指导意见，供学习者直观查看。本发明是基于机器学习与计算机视觉技术，通过对于人体姿态识别、检测后的数据进行分析，以此达到输出在视频中不标准的动作部分，并给予指导意见，能够定量客观高效地对比学习者与标准视频的差异，所识精确度、准确度、处理速度和鲁棒性，以及需要调节的参数的数量少，节省了指导者与学习者的大量时间，具有宽阔的应用前景。

技术领域

本发明涉及计算机视觉技术领域，具体为一种图示识别及动作矫正系统及方法。

背景技术

人体姿态估计(Human Pose Estimation)问题是指从图片和视频中获得人体关键关节的定位，并以此形成对人体姿态的表示。传统的人体姿态估计系统包含图像分割，基于特征工程的人体姿态识别等步骤，算法复杂，处理效率较为低下，系统的通用性和鲁棒性无法得到保证。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。近年来，在GPU运算能力和深度神经网络理论的推动下，人工智能和计算机视觉技术(Computer Vision)得到了很大发展。本发明基于深度卷积神经网络技术，提出一种图示识别及动作矫正系统及方法，实现了对运动人体视频的实时分析和评价。

发明内容

本发明的目的在于提供一种图示识别及动作矫正系统及方法，基于机器学习与计算机视觉技术，通过对于人体姿态识别、检测后的数据进行分析，以此达到输出在视频中不标准的动作部分，并给予指导意见，能够定量客观高效地对比学习者与标准视频的差异，所识精确度、准确度、处理速度和鲁棒性，以及需要调节的参数的数量少，节省了指导者与学习者的大量时间，具有宽阔的应用前景，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种图示识别及动作矫正系统，包括单目摄像头和计算机，所述单目摄像头与所述计算机相连接，所述单目摄像头用于获取测试视频，所述计算机用于设计、训练并测试基于单目视觉的深度卷积神经网络，将标准视频输入深度卷积神经网络中，进行标准视频流和测试视频流的人体姿态的实时估计和提取，捕捉人体各关节点的空间位置信息，识别使用者动作及位置信息，利用获得的关节位置信息构建人体姿态的时域结构化表达，再基于人体姿态的表达标准和使用者输入视频中的实际动作及情况，对测试视频和标准视频对比和评价系统自动比对，输出不匹配动作，输出评价较低的视频段和指导意见，供学习者直观查看。

一种图示识别及动作矫正方法，包括如下步骤：

S1.获取测试视频；

S2.设计、训练并测试基于单目视觉的深度卷积神经网络，将标准视频输入深度卷积神经网络中，进行标准视频流和测试视频流的人体姿态的实时估计和提取，捕捉人体各关节点的空间位置信息，识别动作及位置信息；

S3.利用获得的关节位置信息构建人体姿态的时域结构化表达；

S4.基于标准视频中的人体姿态的表达标准和测试视频中的实际动作及情况，对测试视频和标准视频对比和评价系统自动比对，输出不匹配动作，输出评价较低的视频段和指导意见，供学习者直观查看。

作为本发明的图示识别及动作矫正系统及方法优选的，所述S2中进行标准视频流和测试视频流的人体姿态的实时估计和提取，捕捉人体各关节点的空间位置信息，识别使用者动作及位置信息包括：

采用Mask-RCNN识别出图像中的人体区域；

在人体区域中寻找关节特异信息。