[发明专利]手部三维数据确定方法、装置及电子设备

说明书

本发明提供一种手部三维数据确定方法、装置及电子设备，所述方法包括：获取双目摄像系统拍摄的第一手部图像和第二手部图像；分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。根据本发明提供的技术方案确定的手部三维数据更加准确且更丰富，且本发明具有较高的效率和准确性。

技术领域

本发明涉及三维建模领域，具体涉及一种手部三维数据确定方法、装置及电子设备。

背景技术

手部数据是人机交互领域中重要的输入数据，通过捕捉人体手部数据的变化可以实现利用手势动作对智能设备进行控制。

现有的捕捉手部数据的方式通常是基于图像特征提取的算法，确定指尖、手指、手指方向等数据，并可以进一步利用图像跟踪算法对这些关键点或者区域进行跟踪，以此来实现人机交互控制等。

发明内容

本发明提供了一种确定手部三维数据的技术方案，包括：

获取双目摄像系统拍摄的第一手部图像和第二手部图像；

分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；

根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；

至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。

优选地，所述关键点包括以下至少之一：指尖、指关节点、掌心。

优选地，所述覆盖所述关键点的区域轮廓包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓。

优选地，所述手部三维数据包括以下至少之一：各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。优选地，所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括：

分别在所述第一手部图像和第二手部图像中识别掌心；

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。

优选地，所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括：

分别在所述第一手部图像和第二手部图像中识别掌心；

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置；

分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置，确定各覆盖所述指尖和/或指关节点的手指区域轮廓。

优选地，在所述分别根据所述第一手部图像和第二手部图像中的所述指尖位置确定手指区域轮廓后，还包括：分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置；根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。

优选地，所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置，包括：

分别对各个手指区域轮廓上的边缘点进行主成分分析处理，将得到的主方向作为手指方向；