[发明专利]一种利用Faster-RCNN对指尖位置进行预测的定位方法

说明书

本发明涉及一种利用Faster‑RCNN对指尖位置进行预测的定位方法，包括以下步骤：绘制目标点并利用投影仪投射标定点；记录目标点在显示屏的坐标位置；用户用手指触摸目标点；照亮手指指尖区域并获取此刻图像；对当前手指触摸区域的检测，计算并且记录下触摸点重心点在图像中的坐标；提取手指触摸区域部分，并对其进行归一化处理；重复上述步骤多次，获取多组坐标点对以及不同的手指触摸区域；通过Faster‑RCNN开始进行映射关系的训练及图像检测，得到映射点位置。本发明通过将红外图像中手指区域的图像以及手指区域的重心点坐标作为网络的输入，并与真实位置进行映射训练，从而获取高精度的映射关系，实现手指触摸位置的精确计算。

技术领域

本发明涉及投影交互系统中的指尖定位技术领域，具体涉及一种利用Faster-RCNN对指尖位置进行预测的定位方法。

背景技术

在投影交互系统中，利用手指进行操控时，总是会出现少量的偏差，导致不能进行高精度的触控，从而影响用户体验。在投影交互系统存在一种映射关系，当手指触摸到投影界面并对其操作的时候，摄像机会采集投影界面区域的照片，因此在摄像机采集到的图像中，手指区域在图像中，会存在一个坐标，然后，计算机会将这个坐标映射到计算机显示屏中的某一个位置，便同时会在计算机显示屏中，对该映射位置进行操作。如果这种映射关系求解的不精准，则可能会出现操作错误的问题。比如：用户在投影界面中对图标A进行点击，则如果映射关系不准确，其会在计算机的显示屏中，对图标B进行操作，这样就无法完成投影交互，因此，构建高精度的映射关系对于投影交互系统的来说非常重要。

Fast-RCNN是一个基于深度卷积神经网络，目前被广泛应用于运动的目标检测，且Fast-RCNN可以在很短的时间内(约0.5秒)实现对运动目标的检测，极大地满足实时性的检测，准确度也相对较高。

发明内容

本发明的目的在于提供一种利用Faster-RCNN对指尖位置进行预测的定位方法，通过将红外图像中手指区域的图像以及手指区域的重心点坐标作为网络的输入，并与真实位置进行映射训练，从而获取高精度的映射关系，实现手指触摸位置的精确计算。

为实现上述目的，本发明采用了以下技术方案：

一种利用Faster-RCNN对指尖位置进行预测的定位方法，包括以下步骤：

(1)在计算机屏幕上绘制目标点；

(2)利用投影仪投射标定点；

(3)记录目标点在显示屏的坐标位置，标记为A_i；

(4)用户用手指触摸目标点；

(5)采用红外激光器发射的红外线照亮手指指尖区域，并通过红外摄像机获取此刻图像；

(6)对获取的红外图像，进行二值化处理与连通域分析，实现对当前手指触摸区域的检测；

(7)计算并且记录下触摸点重心点在图像中的坐标，记为B_i，则A_i与B_i构成一组坐标点对；

(8)在摄像机采集到的图像中，提取手指触摸区域部分，并对其进行归一化处理；

(9)重复上述步骤多次，获取多组坐标点对以及不同的手指触摸区域；

(10)通过Faster-RCNN开始进行映射关系的训练；

(11)通过Faster-RCNN网络进行图像检测，得到映射点位置。

进一步的，所述步骤(6)中，所述二值化处理具体为：获取红外图像的每个像素点并对该像素点进行像素分析，若某个像素点的像素值大于预设值，则该像素点作为前景图像保存，并采用白色显示，若该像素点小于预设值，则采用黑色显示。