[发明专利]一种机器人动作序列生成方法

说明书

本发明公开了一种机器人动作序列生成方法，包括对教学视频进行分析，提取人体关节点信息，生成图像坐标系下按动作时序排列的人体关节点坐标；将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下姿态坐标，形成按照动作时序排列原始姿态序列；从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组；对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列。本发明技术方案针对目前的机器人所学习的动作精细不足、缺少可编辑性等问题，通过将人体动作分解为多个可编辑的动作单元，进而通过对动作单元进行排列重构等操作，实现机器人动作序列的可编辑。

技术领域

本发明属于机器人动作领域，具体涉及一种机器人动作序列生成方法。

背景技术

机器人动作由一系列的序列生成，其体现形式很多，涉及的范围也很广。在教学领域，机器人也具有重要的研究意义。体育活动中是涉及到动作最多的教学项目，其体现形式也有很多。以舞蹈教学为例，幼小阶段的舞蹈教学对于培养儿童的肢体协调能力和学习兴趣有重要意义。传统的幼小舞蹈教学要么采用真人(老师或家长)示范模式，要么采用视频教学模式。前者由于老师和家长自身的知识水平、时间精力等存在差异，教学效果参差不齐且难以持续开展，后者存在学习体验差、教学效率低等问题。随着机器人技术的发展，人形机器人具备类人外形并且可以模拟人的肢体动作。

当前，机器人动作生成研究主要集中在两个方面：一是人体姿态感知研究。该研究利用传感器数据，或者2D视频处理技术，检测并跟踪人体骨架(skeleton)，实现人体姿态感知。近年来，随着深度学习技术的发展，利用深度神经网络实现视频中人体骨架跟踪取得了较好的效果，实时性和准确性有了显著提升，同时也避免了对深度传感器的依赖，具有广泛的应用前景。二是机器人动作映射研究，即如何将人体姿态映射为机器人对应的动作,目前主要通过坐标转换方法将人体姿态参数无差别的转化为机器人动作参数。

但是，现有技术的机器人动作学习过程中，仍然存在以下问题：首先，传统的动作捕捉机器人在人体动作感知上，现有技术缺少对姿态的筛选、分组机制，导致感知结果的可重用和可编辑性不足。其次，现有方案缺乏对感知结果的二次编辑操作，导致生成的机器人动作难以满足实际教学的要求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种机器人动作序列生成方法，至少可以部分解决上述问题。本发明技术方案针对目前的机器人所学习的动作精细不足、缺少可编辑性等问题，通过对教学视频中的人体动作进行坐标转换，可以将人体动作分解为多个可编辑的动作单元，进而通过对动作单元进行排列重构等操作，实现机器人动作序列的可编辑。

为实现上述目的，按照本发明的一个方面，提供了一种机器人动作序列生成方法，其特征在于，包括

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

作为本发明技术方案的一个优选，步骤S1中包括，

S11对教学视频进行分析，提取视频中人体支干并标注出支干的关键点；

S12匹配连接关键点构成完整的人体关节点，按动作时序排列输出带时间戳的人体关节点坐标序列。

作为本发明技术方案的一个优选，步骤S2中包括，