[发明专利]一种基于参考区域和时域信息的人机交互方法及系统

说明书

技术领域

 本发明涉及多媒体图像处理技术领域，尤其涉及的是一种基于参考区域和时域信息的人机交互方法及系统。

背景技术

人机交互（Human-Computer Interaction, 简写HCI）：是实现人与计算系统进行交交互。随着计算机技术的迅猛发展，人与计算机的交互活动逐渐成为人们日常生活的一个重要组成部分。鼠标、键盘等传统的人机交互设备在使用的自然性和友好性等方面都存在一定的局限性，因此研究符合人际交流习惯的人机交互技术成为了当前的发展趋势。

以往的人机交互方式需要附加特定的传感器，比如手柄，遥控器，数据手套。这种方式给用户操作带来了许多不方便。还有的人机交互方式通过人手手形检测和跟踪来完成，由于人手的活动自由度很大，形状变化大，因此在复杂的自然场景下检测率不高。这样的方法使得交互需要更多的时间负担，难以满足许多实时人机交互应用的需求。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于参考区域和时域信息的人机交互方法及系统，提供了一种基于计算机视觉的可包容更多人体动作灵活性以及实时的人机交互方法，通过基于参考区域的选择方法和时域信息处理就跳过了人手手形检测和跟踪，从而简化了处理过程，提高人机交互效率。

本发明解决技术问题所采用的技术方案如下：

一种基于参考区域和时域信息的人机交互方法，其中，包括步骤：

A、通过摄像头采集人体图像，以人脸为参照物体，采用参考区域自适应选择算法将参考区域自适应地选择在人脸区域侧的某个区域，并获取参考区域RGB彩色图像；

B、获取步骤A中参考区域RGB彩色图像的相邻帧差图像；

C、根据步骤B获取的相邻帧差图像计算二维空间参考区域内人体的运动特征，通过计算参考区域RGB彩色图像在某时域内的运动特征，并计算出时域运动特征向量；

D、将步骤C中计算出的运动特征向量与预定动作类型模版特征库中的动作类型模版进行特征比对，计算运动特征向量与动作类型模版的相似度；

E、根据步骤D计算相似度获得的结果对参考区域内的人体运动进行判断，最后输出动作事件标准数据，供外层应用程序调用。

所述基于参考区域和时域信息的人机交互方法，其中，所述步骤A具体包括如下步骤：

A1、计算通过摄像头采集到的人体图像的积分图，提取该人体图像的类矩形特征，根据预定的分类器特征库，运行cascade级联的方法在该人体图像中搜索人脸区域；

A2、以人脸为参照物体，采用参考区域自适应选择算法将参考区域自适应地选择在人脸区域侧的某个区域，计算参考区域RGB彩色图像的位置及大小:                                               ，其中、P是包含参考区域RGB彩色图像中心点横坐标、纵坐标、宽度和高度的向量，T是映射函数，自变量分别表示输入人脸区域的中心位置横坐标、纵坐标、宽度和高度。

所述基于参考区域和时域信息的人机交互方法，其中，所述步骤A1中的预定的分类器特征库包括如下步骤：

A11、计算所述人体图像的积分图，提取所述人体图像的类矩形特征；

A12、根据Adaboost算法筛选有效的特征，构成弱分类器；

A13、通过组合多个弱分类器，构成强分类器；

A14、级联多个强分类器，形成人脸检测的分类器特征库。

所述基于参考区域和时域信息的人机交互方法，其中，所述步骤B具体包括如下步骤：

B1、将所述参考区域RGB彩色图像通过如下公式：

               

进行灰度化处理；其中x 、y 为所述参考区域RGB彩色图像中任意像素点的横坐标和纵坐标，f(x,y)表示灰度图像，其值在0~255之间；

B2、通过公式：，其中、分别为相邻前后帧像素点的灰度值, 为设定的变化阈值，来计算相邻帧差图像中任意像素的运动变化值，该值为1的像素表示有运动点，为0的像素表示没有运动点。

所述基于参考区域和时域信息的人机交互方法，其中，所述步骤C中的统计二维空间运动特征具体包括：

C11、根据步骤B2中相邻帧差图像所述运动变化值计算运动点个数，计算公式为，其中W、H分别表示相邻帧差图像的宽和高；

C12、根据步骤C11中相邻帧差图像的运动点个数来计算运动质心位置，计算公式为,；