[发明专利]基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法

权利要求书

1.基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法，其特征在于，采用实现鼠标和键盘行为模拟的切换系统分别与Kinect感应器和输出设备连接；其中所述切换系统包括五个模块组成，由主程序模块分别与数据捕获模块，鼠标行为模拟模块、键盘行为模拟模块和行为切换模块连接；其中数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；鼠标行为模拟模块负责鼠标左键的单击、双击和右键的单击行为模拟；键盘行为模拟模块负责按键按下和弹起行为的模拟；行为切换模块负责状态的切换，即鼠标行为模拟和键盘行为模拟的切换；所用动作类型设在左手和右手上，且不同动作之间的切换集中在单个骨骼点上，即实现相同功能需求，尽量减少骨骼的数量和增加操作的灵活性；行为切换模块的切换方式是通过动态提取彩色图像上对应HandLeft骨骼点映射位置的像素颜色来实现的，当颜色为白色时，当前模拟状态为键盘行为模拟，当颜色为黑色时，当前模拟状态为鼠标行为的模拟；

首先由Kinect感应器捕获彩色图像和骨骼点数据，彩色图像像素颜色数据以矩阵的形式存储到Mat变量中，并通过OpenCV图形库动态提取矩阵中对应映射后HandLeft骨骼点位置处的像素颜色，以及根据提取的像素颜色的四个通道判定当前模拟行为的状态，同时系统会根据当前模拟行为状态和捕获的骨骼点位置数据判定系统当前执行的功能；系统的数据有彩色图像数据和骨骼点三维坐标数据，处理过程包括捕获数据、像素提取、状态判定、动作类型判定；

其中，矩阵中对应映射关系如1-1式所示：

上式中S为缩放矩阵，R为旋转矩阵，T为平移矩阵，(x,y,z)为骨骼点转换后在彩色图像中的坐标，(X,Y,Z)为骨骼点以Kinect感应器为原点的三维坐标；对应彩色图像的点坐标如1-2式所示：

其中(f_x,f_y)是感应器捕获的彩色图像上的比例参数，(o_x,o_y)为感应器捕获的彩色图像上中心点。