[发明专利]二维红外深度感测

权利要求书

1.一种图像处理方法，包括：

从红外IR相机接收对包括多个IR像素的IR图像进行编码的信号，每一IR像素指定该IR像素的一个或多个IR参数；

在所述IR图像中标识对人手成像的IR皮肤像素；

对于每一IR皮肤像素，基于该IR皮肤像素的IR参数来估计由该IR皮肤像素成像的人手部分的深度；以及

导出包括多个手关节的骨架手模型，每一手关节是以从每一人手部分的所估计的深度推导出的三个独立位置坐标来定义的，

其中导出所述骨架手模型进一步包括使用从先前帧深度图估计的至少一个随机加扰的手关节位置来使误差函数最小化，所述误差函数被定义为所述骨架手模型与所述IR皮肤像素之间的空间对应关系的函数。

2.如权利要求1所述的图像处理方法，其特征在于，导出所述骨架手模型包括：

组装包括每一IR皮肤像素的深度的深度图；以及

基于所述IR皮肤像素和所述深度图中的一者或两者来标识所述人手的一个或多个解剖特征。

3.如权利要求2所述的图像处理方法，其特征在于，导出所述骨架手模型包括基于所述解剖特征和所述深度图中的一者或两者来估计所述人手的关节的位置。

4.如权利要求3所述的图像处理方法，其特征在于，估计手关节位置包括：

计算所述深度图的散列；

从先前确认的深度图的数据库中选择其散列与所述深度图的计算得到的散列最佳地相对应的先前确认的深度图，每一先前确认的深度图具有包括多个手关节的骨架手模型；以及

将来自与所选择的先前确认的深度图相对应的手模型的手关节的位置指派给所述手关节位置。

5.如权利要求3所述的图像处理方法，其特征在于，导出所述骨架手模型包括：

将先前训练的机器学习算法应用于所述深度图和所估计的手关节位置中的一者或两者；以及

将由所述先前训练的机器学习算法确定的至少一个手关节位置指派给所述骨架手模型，所述先前训练的机器学习算法是用包括训练二维IR图像集和该训练二维IR图像集的地面真值注释的训练数据来训练的。

6.如权利要求5所述的图像处理方法，其特征在于，所述先前训练的机器学习算法接收从先前帧深度图估计的至少一个手关节位置作为输入。

7.如权利要求1所述的图像处理方法，其特征在于，对于每一IR皮肤像素，经由使用二维2D IR图像和注释有地面真值的三维3D深度图来训练的先前训练的机器学习算法来估计由该IR皮肤像素成像的人手部分的深度。

8.如权利要求7所述的图像处理方法，其特征在于，所述2D IR图像包括被生成来模拟人类皮肤对IR光的反射的合成IR图像，和/或

所述3D深度图包括合成深度图，所述合成深度图被生成来启用由所述合成深度图指定的深度与由所述合成IR图像指定的对应IR强度的关联。

9.如权利要求1所述的图像处理方法，其特征在于，导出所述骨架手模型包括：

使用先前使用专用于所述人手的所识别出的姿态的训练数据来训练的动态选择的机器学习算法来组装包括每一IR皮肤像素的深度的深度图。

10.如权利要求1所述的图像处理方法，其特征在于，所述一个或多个IR参数包括IR强度，以及

其中所述IR皮肤像素是基于IR强度范围和人类皮肤之间的预定对应关系来标识的。

11.如权利要求1所述的图像处理方法，其特征在于，所述IR皮肤像素是基于对所述IR图像的几何分析来标识的。