[发明专利]从深度图像中分割人手与交互物体的方法和装置

权利要求书

1.一种从深度图像中分割人手与交互物体的方法，其特征在于，包括：

利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集；

利用所述基于深度图像的人手分割数据集，对初始的神经网络模型进行训练，得到分割模型，所述分割模型由编码器、注意力传递模型和解码器构成；

利用所述分割模型对待处理的深度图像进行分割，获取与所述待处理的深度图像对应的分类标签图，所述分类标签图中每个像素点的值为所述每个像素点的类型值，所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。

2.如权利要求1所述的方法，其特征在于，所述利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集，包括：

获取人手与物体交互情景下，多对彩色图像和深度图像；

对所有彩色图像进行基于HSV颜色空间的物体分割，获取每张彩色图像中每个像素点的类型值；

针对每对彩色图像和深度图像，将所述彩色图像中每个像素点，映射到所述深度图像中对应像素点，构建基于深度图像的人手分割训练数据集。

3.如权利要求2所述的方法，其特征在于，所述将所述彩色图像中每个像素点，映射到深度图像中对应像素点之后，还包括：

对所述深度图像进行预处理，包括噪声和背景去除。

4.如权利要求2所述的方法，其特征在于，所述基于深度图像的人手分割数据集包括训练数据集和测试数据集，所述利用所述基于深度图像的人手分割数据集，训练分割模型，包括：

利用所述训练数据集，对初始神经网络模型进行训练，并计算第一损失函数，其中，第一损失函数采用softmax交叉熵损失函数；

当第一损失函数的值不再下降时，使用轮廓误差作为损失函数继续训练。

5.如权利要求4所述的方法，其特征在于，所述利用所述训练数据集，训练所述分割模型之前，还包括：

对所述训练数据集进行数据增广操作，所述数据增广操作包括自由旋转深度图像、加入随机噪声、随机翻转深度图像中的至少一种。

6.一种从深度图像中分割人手与交互物体的装置，其特征在于，包括：

构建模块，用于利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集；

训练模块，用于利用所述基于深度图像的人手分割数据集，对初始的神经网络模型进行训练，得到分割模型，所述分割模型由编码器、注意力传递模型和解码器构成；

识别模块，用于利用所述分割模型对待处理的深度图像进行分割，获取与所述待处理的深度图像对应的分类标签图，所述分类标签图中每个像素点的值为所述每个像素点的类型值，所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。

7.如权利要求6所述的装置，其特征在于，所述构建模块具体用于：

获取人手与物体交互情景下，多对彩色图像和深度图像；

对所有彩色图像进行基于HSV颜色空间的物体分割，获取每张彩色图像中每个像素点的类型值；

针对每对彩色图像和深度图像，将所述彩色图像中每个像素点，映射到所述深度图像中对应像素点，构建基于深度图像的人手分割训练数据集。

8.如权利要求7所述的装置，其特征在于，还包括：

预处理模块，用于对所述深度图像进行预处理，包括噪声和背景去除。

9.如权利要求7所述的装置，其特征在于，所述基于深度图像的人手分割数据集包括训练数据集和测试数据集，所述训练模块，具体用于：

利用所述训练数据集，对初始神经网络模型进行训练，并计算第一损失函数，其中，第一损失函数采用softmax交叉熵损失函数；

当第一损失函数的值不再下降时，使用轮廓误差作为损失函数继续训练。

10.如权利要求9所述的装置，其特征在于，还包括：

处理模块，用于对所述训练数据集进行数据增广操作，所述数据增广操作包括自由旋转深度图像、加入随机噪声、随机翻转深度图像中的至少一种。