[发明专利]手部三维数据确定方法、装置及电子设备

权利要求书

1.一种手部三维数据确定方法，其特征在于，包括：

获取双目摄像系统拍摄的第一手部图像和第二手部图像；

分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；所述关键点包括：指尖、指关节点、指根和掌心；所述覆盖所述关键点的区域轮廓包括：覆盖指尖和指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓；所述识别至少一关键点以及覆盖所述关键点的区域轮廓，包括：识别所述指尖、指关节点、指根和掌心的位置，确定各个手指区域轮廓的相对分布、手指方向和手掌法向；

根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；

确定覆盖所述关键点的区域轮廓的点云数据；基于所述点云数据得到手部方向数据；根据所述点云数据和手部方向数据，确定所述关键点的三维数据。

2.根据权利要求1所述的方法，其特征在于，所述手部三维数据包括以下至少之一：各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。

3.根据权利要求1或2所述的方法，其特征在于，所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括：

分别在所述第一手部图像和第二手部图像中识别掌心；

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。

4.根据权利要求1或2所述的方法，其特征在于，所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括：

分别在所述第一手部图像和第二手部图像中识别掌心；

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置；

分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置，确定各覆盖所述指尖和/或指关节点的手指区域轮廓。

5.根据权利要求4所述的方法，其特征在于，

在所述分别根据所述第一手部图像和第二手部图像中的所述指尖位置确定手指区域轮廓后，还包括：分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置；根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。

6.根据权利要求5所述的方法，其特征在于，所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置，包括：

分别对各个手指区域轮廓上的边缘点进行主成分分析处理，将得到的主方向作为手指方向；

分别将各所述手指方向上的最大投影点确定为修正后的指尖位置；

分别将各所述手指方向上的最小投影点确定为指根位置。

7.根据权利要求5所述的方法，其特征在于，所述根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布，包括：

分别确定各个所述指根位置相对于所述掌心的位置的方向；

确定各个所述指根位置相对于所述掌心的位置的方向的平均方向；

分别将各个所述指根位置相对于所述掌心的位置的方向与所述平均方向进行比对；

剔除偏离所述平均方向大于预设阈值的方向所对应的指根位置；

根据保留的各个指根位置相对于所述掌心的位置的方向确定各个手指的相对分布。

8.根据权利要求3所述的方法，其特征在于，所述分别在所述第一手部图像和第二手部图像中识别掌心，包括：

分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域轮廓；

分别根据所述第一手部图像和第二手部图像中最大连通区域轮廓确定所述掌心的位置。