[发明专利]一种基于事件相机和视觉相机协同的运动训练评估系统及方法

说明书

本发明公开一种基于事件相机和视觉相机协同的运动训练评估系统及方法，应用于计算机视觉领域，针对现有基于光学相机的训练评估系统无法捕获快速的运动轨迹和肢体形态，无法有效的评价动作质量，无法提供有效的训练指导的问题；本发明以事件流形式提供连续的人体运动事件，可达到毫秒级运动响应，且不受高速运动物体运动模糊效应的影响，还能够提供更高的动态范围，在强光、逆光、明暗变化剧烈的场景下可提供更有效的运动训练评估。通过视觉相机和事件相机协同，不仅可以评估快速动作的精准度，还能以可视情景交互的形式进行标准动作示教和训练。

技术领域

本发明属于计算机视觉领域，特别涉及一种运用事件相机和深度相机完成对快速动作的识别和质量评估技术。

背景技术

基于光学传感器的视觉相机采集一段时间内像素的亮度值积累，受到感光和数据读取速率的限制，帧率非常有限，而且存在易受环境光照的影响、硬件性能要求高、能耗大，延迟大等缺点，同时对于高速运动的物体存在运动模糊和响应时间长的问题，用于动作识别和评估效果不理想。事件相机是一种特殊的只对像素亮度变化敏感的相机，是一种新型的神经拟态视觉传感器，其脉冲神经形态系统具有异步、低功耗、低计算吞吐量，高动态范围、高时间分辨率以及与场景环境的动态关系等特点，可以提供微秒级的响应信号，其反应速度和动态范围大大优于现有的普通光学相机，因而很适合应用在高动态目标检测的场合

动作训练与质量评估是目前竞技体育研究的热点问题，例如羽毛球击球瞬间动作的规范性，包括肩、肘和腕部的运动轨迹是否正确，这会影响发力和击球的效果；乒乓球的发球和扣球动作、轨迹分析和步伐分析；体操动作标准性分析等问题。由于竞技类运动动作快速、复杂(需要身体各部分地协同参与)，基于光学相机的训练评估系统无法捕获快速的运动轨迹和肢体形态，无法有效的评价动作质量，无法提供有效的训练指导。

发明内容

为解决上述技术问题，本发明提供一种基于事件相机和视觉相机协同的运动训练评估系统及方法，通过视觉相机和事件相机协同，不仅可以评估快速动作的精准度，还能以可视情景交互的形式进行标准动作示教和训练。

本发明采用的技术方案之一为：一种基于事件相机和视觉相机协同的运动训练评估系统，包括：事件采集终端、主机、以及交互端；

所述事件采集终端包括事件相机与事件流获取模块，事件流获取模块通过USB连接到事件相机；

所述主机包括事件轨迹提取模块、动作识别模块和动作质量评估模块；事件轨迹提取模块根据事件采集终端的输出提取事件轨迹，动作识别模块根据提取的事件轨迹进行动作识别，动作质量评估模块对识别的动作进行评估；

所述交互端用于显示动作识别结果；

所述事件采集终端还包括光学相机，用于将采集的视频流传输至交互端进行动作回放。

所述事件相机用于实时捕获目标区域的运动事件。

每个事件为一个四元组，表示为[x,y,t,p]，其中x、y为像素坐标，t为时间戳，p为极性，极性用于表示亮度的增加或降低。

所述光学相机采用RGB相机。

本发明采用的技术方案之二为：一种基于事件相机和视觉相机协同的运动训练评估方法，包括：

S1、将事件相机实时捕获的目标区域的运动事件表示为：

e_t＝(x,y,t,p)

其中，x、y为像素坐标，t为时间戳，p为极性，极性用于表示亮度的增加或降低；

S2、将捕获的运动事件转换为事件流图像；

S3、对每一个事件流图像，提取其中的事件轨迹；

S4、提取时间轨迹中的特征；