[发明专利]基于计算机视觉的人机交互系统及交互方法

说明书

本发明公开了一种基于计算机视觉的人机交互系统及交互方法，属于人机交互技术领域，包括图像获取与处理模块、图像匹配模块以及摄像机定标与空间定位模块；其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配；其中，摄像机定标与空间定位模块，用于对摄像机和目标交互对象在人机交互界面进行位置定位。该基于计算机视觉的人机交互系统，通过对目标交互对象的特征量进行计算分析，并对图像特征量进行相似度匹配，对目标交互对象的头和脸部进行跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪，用于保证对目标交互对象的人机交互效果。

技术领域

本发明属于人机交互技术领域，具体为一种基于计算机视觉的人机交互系统及交互方法。

背景技术

目前，随着各类视频捕捉设备的快速普及，基于视觉的用户行为分析与自然交互技术的重要性也越来越突出，并可广泛应用于体感交互、AR教学演示、AR游戏场景等场合中。利用AR技术通过手机、游戏机、运动眼镜、游戏头盔等媒介在现实环境下展示出来，AR技术从位置服务、图像识别两个方面实现了人机交互，AR技术在形式上的重大突破给用户带来了全新的交互体验。

现有技术中，在对目标交互对象进行图像捕捉时，人机交互系统对目标交互对象的位置以及目标交互对象的形态、脸部表情还原效果不佳，降低了用户的交互体验。

发明内容

针对现有技术的不足，本发明提供了一种基于计算机视觉的人机交互系统及交互方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉的人机交互系统，包括图像获取与处理模块、图像匹配模块以及摄像机定标与空间定位模块；

其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；

其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配，根据图像特征量判断人机交互的优先级对象；

其中，摄像机定标与空间定位模块，采用摄像机标定算法确定摄像机和目标交互对象的3D位置，用于对摄像机和目标交互对象在人机交互界面进行位置定位。

进一步优化本技术方案，所述基于计算机视觉的人机交互系统基于开源的跨平台计算机视觉和机器学习软件库进行构建，所述基于计算机视觉的人机交互系统可以运行Linux、Windows、Android和Mac OS操作系统。

进一步优化本技术方案，所述图像获取与处理模块包括图像的获取以及图像的处理，图像获取与处理模块通过对摄像机采集到的目标交互对象的体型视频数据进行获取，并利用图像处理技术对目标交互对象的体型特征嵌入到虚拟的人机交互系统的界面中，实现人机交互。

进一步优化本技术方案，所述图像获取与处理模块中图像的处理包括图像预处理功能、图像分割边缘检测功能、特征提取功能以及特征量计算获取功能，用以保证目标交互对象的体型视频数据经处理后还原到人机交互系统的界面中。

进一步优化本技术方案，所述图像的特征量在于建模、识别和解释人的实时行为动作，特征量的计算包括人脸检测和定位、人脸识别、头和脸部的跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。

进一步优化本技术方案，所述图像匹配模块在根据图像特征量判断人机交互的优先级对象时，优先级最高到低可以选择的排列方式为人脸特征识别、步态以及姿势识别、周围环境识别。

一种基于计算机视觉的人机交互方法，基于上述的基于计算机视觉的人机交互系统进行操作，包括以下具体步骤：

S1、启动交互程序，用于图像采集的摄像机设备进行初始化；

S2、在基准点的位置上摄取图像的信息；