[发明专利]基于opencv和easyar的虚拟按键触发方法

说明书

本发明属于AR技术领域，提供了基于opencv和easyar的虚拟按键触发方法，包括S1：标定：预设有标定物目标；实时获取图片信息；S2：采样：当搜索到标定物时，得到误判区域，记录取样时间内经过虚拟按键位置的误判区域的数量；S3：跟踪识别：实时跟踪标定物，并统计每个取样时间内经过预设的虚拟按键位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。该方法采取了一个折中的处理，采用现有的效率较高的训练文件对手部进行训练，并将训练结果进行二次运算，从而识别手的位置，降低对准确性要求高的训练文件制作的标准，运算量低，快速。

技术领域

本发明涉及AR技术领域，具体涉及基于opencv和easyar的虚拟按键触发方法。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。现有的AR主要通过手机与现实互动，互动方式单一。

为了增强AR中与现实的互动性，申请人提出了在AR产品中植入虚拟按键的概念，使得用户通过点击现实空间中虚拟按键对应的空间，便能触发与虚拟按键关联的操作。这就要求AR产品能够对手部的位置进行识别。现有的用于AR领域中的手部识别技术均通过训练文件搜索手部所处的区域，从而得到手部的位置。但是现有的准确性高的训练文件具有如下缺点：一是样本量过大，导致制作手部训练文件的成功率低消耗时间成本较高。二是训练文件运行时占用内存过大，导致在手机上运作会过卡或者识别过慢。对于效率较高的训练文件，它虽然能够快速判断出人手的位置，但是由于其准确性较低，其往往会误判出一堆被误识别为手的区域。

发明内容

针对现有技术中的缺陷，本发明提供一种运算量低、快速、应用于AR领域中的基于opencv和easyar的虚拟按键触发方法。

基于opencv和easyar的虚拟按键触发方法，包括以下步骤：

S1：标定：在easyar中预设有标定物目标；easyar实时获取摄像头拍摄得到的图片信息；

S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，利用opencv的训练文件训练手部生成的xml得到误判区域，记录取样时间内经过预设的虚拟按键位置的误判区域的数量，定义为初始数量；

S3：跟踪识别：easyar实时跟踪标定物，利用opencv的训练文件训练手部生成的xml得到误判区域，并统计每个取样时间内经过预设的虚拟按键位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。

优选地，所述步骤S1中的标定物目标为预先输入的标定物图片。

优选地，所述easyar在Unity编辑器中设定所述标定物目标。

优选地，所述误判区域的数据类型为CVRect。

优选地，在所述摄像头的成像区域内还设有提示区域；在所述步骤S2中的采样过程中，提示区域用于输出显示有禁止手放入的提示信息。

优选地，所述步骤S3中还包括有：在easyar实时跟踪标定物的过程中，当easyar检测到标定物投射在应用程序中的世界坐标位移大于预设的可抖动距离时，返回步骤S2。

优选地，所述步骤S3中easyar采用Augment方法实时跟踪标定物。