[发明专利]一种基于事件相机和视觉相机协同的运动训练评估系统及方法

权利要求书

1.一种基于事件相机和视觉相机协同的运动训练评估系统，其特征在于，包括：事件采集终端、主机、以及交互端；

所述事件采集终端包括事件相机与事件流获取模块，事件流获取模块通过USB连接到事件相机；

所述主机包括事件轨迹提取模块、动作识别模块和动作质量评估模块；事件轨迹提取模块根据事件采集终端的输出提取事件轨迹，动作识别模块根据提取的事件轨迹进行动作识别，动作质量评估模块对识别的动作进行评估；

所述交互端用于显示动作识别结果；

所述事件采集终端还包括光学相机，用于将采集的视频流传输至交互端进行动作回放。

2.根据权利要求1所述的一种基于事件相机和视觉相机协同的运动训练评估系统，其特征在于，所述事件相机用于实时捕获目标区域的运动事件。

3.根据权利要求2所述的一种基于事件相机和视觉相机协同的运动训练评估系统，其特征在于，每个事件为一个四元组，表示为[x,y,t,p]，其中x、y为像素坐标，t为时间戳，p为极性，极性用于表示亮度的增加或降低。

4.根据权利要求3所述的一种基于事件相机和视觉相机协同的运动训练评估系统，其特征在于，所述光学相机采用RGB相机。

5.一种基于事件相机和视觉相机协同的运动训练评估方法，其特征在于，所述运动训练评估方法基于权利要求1-4任一权利要求所述的运动训练评估系统，所述运动训练评估方法包括：

S1、将事件相机实时捕获的目标区域的运动事件表示为：

e_t＝(x,y,t,p)

其中，x、y为像素坐标，t为时间戳，p为极性，极性用于表示亮度的增加或降低；

S2、将捕获的运动事件转换为事件流图像；

S3、对每一个事件流图像，提取其中的事件轨迹；

S4、提取时间轨迹中的特征；

S5、将提取出的特征输入长短时记忆网络，输出动作类别与动作相似度。

6.根据权利要求5所述的一种基于事件相机和视觉相机协同的运动训练评估方法，其特征在于，步骤S3具体为：

A1、在事件流图像E_i中，对每个事件点P_i(x,y,v_i)，若事件发生次数v_i小于阈值ε，则更新该时间点的v_i＝0，消除运动不显著点；ε＝α·average(v_i)，v_i0，1≥α≥0，α为过滤系数；

A2、对经步骤A1处理后的事件流图像E_i进行形态学先膨胀再腐蚀闭运算；

A3、对经步骤A2处理后的事件流图像E_i中每个事件点，消除离群噪声点。

7.根据权利要求6所述的一种基于事件相机和视觉相机协同的运动训练评估方法，其特征在于，步骤A3具体包括以下分步骤：

A31、按照邻域扩展的方式逐步搜索当前事件流图像中每个事件点的邻域，计算各事件点邻域中与其最近点之间的欧式距离；对找到的第一个点，计算其欧氏距离；

A32、根据当前事件流图像中所有事件点的最近的欧氏距离，得到当前事件流图像对应的最近欧氏距离表；

A33、根据当前事件流图像对应的最近欧氏距离表，计算欧氏距离分布的平均值和标准差；

A34、若某个事件点的最近的欧式距离大于均值与标准差之和，则将其作为离群噪声点去除，记留下来的事件图像为ET_i；

A35、使用Canny边检测法从ET_i中提取其边缘信息保存为边图E_i，每个事件流图对应一个边图。