[发明专利]一种基于体感相机手势识别的自由视点视频播放方法

摘要

本发明涉及一种基于体感相机手势识别的自由视点视频播放方法，获取一帧深度图像和人体骨骼数据，以双边滤波方法对深度图像预处理，计算右手掌中心位置和右手臂位置，获得右手掌轮廓，提取右手掌轮廓特征和右手臂位置特征以判断手势，将识别出的手势转换为相应的视点播放操作。本发明使用双边滤波方法对深度图像进行预处理，使得生成的深度图像较好的保留了图像中的边缘轮廓信息。设计了一种简单快速的手势识别方法，有效的降低了用户手势切换视点的卡顿。设计了一种全新的自由视点视频局部画面的放大缩小方法和视点的切换方法，通过识别用户的手势进行视点画面的局部放大缩小和切换视点，在观看自由视点视频时能够带给用户良好的融入感。

主权项

1.一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述的方法包括以下步骤：(1)获取一帧深度图像和人体骨骼数据：通过体感相机实时获取一帧深度图像I1和对应的人体骨骼数据S1，I1的宽为w个像素点、高为h个像素点，S1包括右手臂关节、右手腕关节和右手掌三点的骨骼三维坐标数据；(2)采用双边滤波方法对深度图像预处理：用双边滤波方法对深度图像I1进行滤波处理，去除深度图像中的噪声干扰，优化深度图像中的边缘轮廓信息，将经过双边滤波的深度图像记为I’1；(3)使用人体骨骼数据计算右手掌中心位置和右手臂位置：将S1中的右手掌关节点的三维坐标作为右手掌中心位置坐标Hc(x1,y1,z1)，右手臂位置的计算是通过手臂关节点Ar(x2,y2,z2)和手腕关节点Wr(x3,y3,z3)两点中的连线来获得；(4)根据右手掌中心位置和预处理后的深度图像获得右手掌轮廓：将Hc(x1,y1,z1)映射到深度图像I’1中得到对应的一点，取这一点的灰度值为基准，匹配深度图像I’1与这一点灰度值邻近的区域得到区域H，将H区域与I’1中其他区域灰度值二值化，即得到手掌轮廓图；(5)提取右手掌轮廓特征和右手臂位置特征：首先，判断H区域是否为五个凸点和四个凹点的多边形区域，若是则进一步判断指尖和指根，从而得到右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn；若不是则通过Ar(x2,y2,z2)和Wr(x3,y3,z3)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ；(6)利用手掌轮廓特征和手臂位置特征判断识别手势：若步骤(5)得到当前帧右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn，则将xn和zn与之前第m1帧中右手第一个指尖到右手掌中心的欧式距离xm1和右手第二个指尖到右手掌中心的欧式距离zm1对比，m1的取值范围为[10,60]，识别出放大手势或缩小手势，若不满足放大手势或缩小手势条件则结束当前帧处理；若步骤(5)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ，判断当前帧中θ是否属于[85°，95°]，若属于则判断之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2识别出向左切换视点手势和向右切换视点手势，m2的取值范围为[10,60]，若不满足视点切换手势条件则结束当前帧处理；(7)将识别出的手势转换为相应的操作：将识别出的放大手势或缩小手势转换为视频画面的放大或缩小操作；将识别出的向左切换视点手势或向右切换视点手势转换为视点的向左切换操作或视点的向右切换操作；结束当前帧数据的处理。