[发明专利]一种基于RGB彩色与深度图像的三维运动重建方法

摘要

本发明公开的一种基于RGB彩色与深度图像的三维运动重建方法，首先使用Kinect获取人体运动的RGB彩色与深度图像，并对其进行去除噪声和图像校正处理；其次，根据背景的复杂程度采用不同的方法去除背景，获得前景RGB彩色图像；再次，依据肤色模型在前景RGB彩色图像中对脸部及手部进行定位，并将定位的脸部及手部的质心作为初始获取的关节点；然后，基于学习得到的贝叶斯分类器对前景RGB彩色图像中的运动人体进行部件分类识别，并依据分类识别结果判定肢体各刚体结构部位类别，再根据各刚体部件的链接关系确定出各关节点；最后，依次联接各关节点形成平面骨架，再结合各关节点的深度数据将平面人体骨架变换成人体三维骨架。

主权项

一种基于RGB彩色与深度图像的三维运动重建方法，其特征在于，具体按照以下步骤实施：步骤1：使用Kinect获取人体运动的RGB彩色与深度图像；步骤2：去除RGB彩色与深度图像噪声，并对其进行图像校正处理；步骤3：根据RGB彩色图像背景的复杂程度采用不同方法去除背景，获得前景RGB彩色图像，具体为：a.当RGB彩色图像背景简单时，利用背景减除法直接将RGB彩色图像的当前帧Ik(x,y)与已知背景Ibg(x,y)做差，则差分后图像dk(x,y)＝Ik(x,y)‑Ibg(x,y)；b.当RGB彩色图像背景复杂时，利用深度数据预先设定一个合理的阈值Tk，把当前像素dk(x,y)同预先给定阈值进行比较，当|dk(x,y)|>Tk时，(x,y)为运动目标，当|dk(x,y)|≤Tk时，(x,y)为背景，然后再将RGB彩色图像中的背景去掉，从而将人体分割出来；c.通过以上两种方法即可获得前景RGB彩色图像；步骤4：基于前景RGB彩色图像且依据肤色模型对脸部及手部进行定位；并将脸部及手部定位质心作为初始获取的关节点；步骤5：基于学习得到的贝叶斯分类器对RGB彩色图像前景中的运动人体进行部件分类识别，具体为：a.使用专门设备拍摄单目视频，构建有M个人体运动的视频库A＝(A1,A2,...,Ai,...,AM)；b.对每一个运动视频Ai进行人工标注；c.提取视频Ai的每帧图像，得到帧图像Fi＝(fi1,fi2,...,fij,...,fim)，其中m表示视频Ai的帧数，对每一帧运动视频手工将运动目标分割成左臂、右臂、躯干、左腿、右腿5个肢体部位，且分别记为Zij1,Zij2,Zij3,Zij4,Zij5，形成训练样本集合；d.基于多个运动、多帧数据的分割图像学习得到身体各个部位的贝叶斯多类分类器，具体为：假设样本的每个特征与其他特征都不相关，并设每个实例x可由属性值的集合描述，分类实例x的目标是在给定描述实例属性值<w1，w2，w3，w4，w5>情况下，找出最可能的类标记c(x)，根据极大后验假设可以得出：c(x)=argmaxc∈CP(c|w1,w2,...,w5)---(1)]]>设目标值与属性值之间相互独立，则应用贝叶斯公式可以将上式改写成：c(x)=argmaxc∈CP(c)Πj=15P(wj|c)---(2)]]>其中：P(c)表示c的先验概率，P(wj|c)是通过计算训练实例集中不同类和属性值组合的出现概率进行的估计；计算所得后验概率最高的类别，即为实例x最可能所属的类别；e.对贝叶斯多类分类器进行参数修正；步骤6：依据分类识别结果判定肢体各刚体结构部位类别，再根据各刚体部件的链接关系确定出各关节点，依次联接各关节点形成平面人体骨架，具体为：a.将已经判断出来的脸、左手和右手的关节点分别记为a、b和c；b.依据分类识别结果，可将左臂、右臂、躯干、左腿、右腿5个肢体部位判别出来；由于左臂部位的两端为左肩与左手，又已知左手部位，故可判断出左肩部位，计算其质心即可找到左肩关节点e，同理可找到右肩关节点f；联接两肩关节点并取其中点即可得到颈部关节点g；而躯干部位的两端为颈部和胯部，已经颈部，从而可以确定胯部，进而确定胯部关节点h；胯关节点在髋关节点的中点位置，而髋部又连接人体的躯干和腿部，从而可以确定出髋部，进而确定出左髋关节点i和右髋关节点j；由于左腿部位两端为左髋部和左脚，又已知左髋部，从而判断出左脚位置，进而判断找出左脚关节点k；同理可找到右脚关节点l；c.由于左臂部位是由左上臂和左下臂两个刚体组成，根据刚体部件的链接关系，可以确定左肘部位，进而找出左肘关节点；同理可找出右肘、左膝和右膝关节点；d.依次联接各关节点形成平面人体骨架；步骤7：结合各个关节点深度数据将平面骨架变换成三维立体骨架。