[发明专利]控制指令生成方法及装置

说明书

本发明实施例提供了控制指令生成方法、装置、电子设备及计算机可读存储介质，涉及数据处理领域。所述方法包括：获取连续的二维图像帧；计算所述连续的二维图像帧中每一帧的用户姿势关键点信息，所述用户姿势关键点信息包括：用户姿势关键点的三维坐标；根据所述连续的二维图像帧中至少一帧的用户姿势关键点信息，识别所述用户的控制意图；根据所述控制意图，生成对应的控制指令。本申请只需基于获取的连续的二维图像帧，计算得到连续二维图像帧中每一帧的用户的各个姿势关键点的三维坐标，进一步基于连续二维图像帧中至少一帧的用户的各个姿势关键点的三维坐标确定用户的控制意图，实现了采用二维图像帧识别用户的控制意图。

技术领域

本发明涉及数据处理领域，特别是涉及一种控制指令生成方法、装置、电子设备及计算机可读存储介质。

背景技术

通过图像来获取用户的控制意图，得到对应的控制指令，利于提升用户操作的便捷性和多样性，因此应用广泛。

目前，通常采用深度数据摄像头获取人的深度图像，基于该深度图像识别人的控制意图。例如，RGBD景深摄像头，除了可以采集正常的彩色图像还可以采集深度图像，基于该RGBD景深摄像头采集的深度图像，识别被拍摄人的控制意图。

但是，现有技术中无法采用普通摄像头采集的二维图像识别人的控制意图。

发明内容

本发明实施例的目的在于提供一种控制指令生成方法、装置、电子设备及计算机可读存储介质，以解决无法采用普通摄像头采集的二维图像识别人的控制意图的问题。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种控制指令生成方法，所述方法包括：

获取连续的二维图像帧；

计算所述连续的二维图像帧中每一帧的用户姿势关键点信息，所述用户姿势关键点信息包括：用户姿势关键点的三维坐标；

根据所述连续的二维图像帧中至少一帧的用户姿势关键点信息，识别所述用户的控制意图；

根据所述控制意图，生成对应的控制指令。

可选的，所述根据所述连续的二维图像帧中至少一帧的用户姿势关键点信息，识别所述用户的控制意图，包括：

将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入姿势匹配模型，得到至少一帧对应的匹配控制姿势；

根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图。

可选的，所述将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入姿势匹配模型，得到至少一帧对应的匹配控制姿势，包括：

将所述连续的二维图像帧中每一帧的用户姿势关键点信息依次与每一个预置的控制姿势对应的控制姿势关键点信息输入所述姿势匹配模型，得到当前帧的用户姿势关键点信息与当前控制姿势对应的控制姿势关键点信息之间的匹配置信度；

若所述匹配置信度超过预设阈值，将所述当前控制姿势确定为所述至少一帧对应的匹配控制姿势。

可选的，所述根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图，包括：

若所述匹配控制姿势为静态控制姿势，根据预置的静态控制姿势与控制意图的对应关系，确定所述匹配控制姿势对应的控制意图。

可选的，所述根据所述至少一帧对应的匹配控制姿势，确定所述用户对应的控制意图，包括：

若所述匹配控制姿势为动态控制姿势，根据所述当前帧，以及所述当前帧时序之后的至少一帧，检测所述动态控制姿势中的控制量姿势关键点的变化量；