[发明专利]一种基于体感相机手势识别的自由视点视频播放方法

说明书

本发明涉及一种基于体感相机手势识别的自由视点视频播放方法，获取一帧深度图像和人体骨骼数据，以双边滤波方法对深度图像预处理，计算右手掌中心位置和右手臂位置，获得右手掌轮廓，提取右手掌轮廓特征和右手臂位置特征以判断手势，将识别出的手势转换为相应的视点播放操作。本发明使用双边滤波方法对深度图像进行预处理，使得生成的深度图像较好的保留了图像中的边缘轮廓信息。设计了一种简单快速的手势识别方法，有效的降低了用户手势切换视点的卡顿。设计了一种全新的自由视点视频局部画面的放大缩小方法和视点的切换方法，通过识别用户的手势进行视点画面的局部放大缩小和切换视点，在观看自由视点视频时能够带给用户良好的融入感。

技术领域

本发明涉及自由视点视频播放领域，具体涉及一种基于体感相机手势识别的自由视点视频播放方法。

背景技术

随着信息科技的发展，人们对视频播放的要求也越来越苛刻，由最初的黑白视频图像发展到现在的彩色视频图像，由最初的标清、高清发展到现在的超清和超高清，但是人眼的视觉存在生理上的极限，对分辨率和色度的需求即将趋于饱和。另外，视频和图像在二十一世纪的两大发展方向为高清化和立体化，高清化目前已经基本实现，立体化将是未来的视频和图像的发展方向。立体化视频的显示方式按照主流的分类方法可以分为两种，裸眼3D显示和VR显示。其中裸眼3D显示技术又可以分为两种方式，传统的使用专用3D显示器显示和直接使用普通的显示器进行自由视点播放显示。本发明使用的显示方式就是采用普通显示器加上体感相机进行自由视点视频播放。目前体感相机的开发厂商较多，主流的厂商有Microsoft、Intel、Leap Motion等，其中Intel开发了RealSense体感相机，相较于Microsoft的Kinect相机，RealSense相机的识别距离相对较短，更注重近距离的应用，主要的原理是通过红外投射器投射出红外散斑，根据红外散斑特征点匹配计算视差图。LeapMotion开发了Controller体感相机，与前两者相比这款相机非常小巧，仅适用于近距离的一些手势识别和手指跟踪。Microsoft的Kinect相机包括Kinect v1和Kinect v2两个版本，其中Kinect v2是基于ToF(Time of Flight，时间飞行)原理的体感相机，生成的深度图像质量较高，具有人体骨架追踪、基本的手势操作和脸部跟踪功能，并且该相机提供了在Windows平台上开发的SDK，对骨架追踪可以直接调用API获取相应的姿势和骨骼点的三维坐标信息。

手势识别从技术角度可以分为基于视觉的手势识别和基于多种传感器的数据手套手势识别，使用数据手套手势识别技术虽然识别精度比基于视觉的手势识别技术精度高，但是由于其专用的数据手套设备价格过于昂贵，不利于在生活中进行推广使用。基于视觉的手势识别技术只需要使用摄像头就能完成，这种手势识别技术使用方便并且价格适中，因此本发明通过体感相机进行手势识别。基于视觉的手势识别系统(见任海兵,祝远新,徐光,林学,张哓平.基于视觉手势识别的研究—综述[J].电子学报,2000(02):118-121)具体流程是：首先，通过一个或多个摄像机获取视频数据流。接着，系统根据手势输入的交互模型检测数据流里是否有手势出现。若有则把该手势从视频信号中切分出来。然后，选择手势模型进行手势分析，分析过程包括特征检测和模型参数估计；在识别阶段，根据模型参数对手势进行分类并根据需要生成手势描述。最后，系统根据生成的描述去驱动具体应用。申请号为201710263069.7的专利主要是通过Kinect相机获取手掌中心和手臂中心位置提取手部轮廓，然后提取指尖和指根位置特征，将这些特征与手势模板库中的特征对比从而识别出手势，最后将识别出的手势放入队列中和前四帧的识别结果对比分析，出现最多的手势就是最终识别结果。这种识别方法最后的识别结果比较准确，但是处理延时较大，不适用于自由视点的实时切换中。申请号为201610711131.X的专利通过Kinect相机获取手势视频中的深度图像数据和骨骼数据，用中值滤波对获得的深度图像初步处理，然后再通过NITE库中HandTracker类进行手势检测和手部位置跟踪，通过边缘检测提取手掌的轮廓信息，最后通过决策树手势库中的多种手势进行匹配识别手势。这种手势识别方法步骤较为复杂，计算复杂度高，也不利于自由视点的实时切换。

发明内容