[发明专利]基于深度学习的新型手部增强现实技术

权利要求书

1.一种基于深度学习的桌面增强现实技术，利用双目拍摄桌面测出深度，检查手指是否点击桌面，主要步骤包括：

(1)利用双目相机拍摄左右视角的两张图片，针对两张图片都进行神经网络预测。

(2)两个神经网络针对手掌进行检测，主要预测出手掌的位置和手的21个特征点姿态。

(3)将左右视角的两张图片下的特征点求出视差，进行深度预测，得到针对左相机光心为原点的世界坐标系下坐标。

(4)重新转换坐标系，XY轴生的成平面与桌面重合，垂直桌面为Z轴，Z轴值为手指到桌面的距离。

(5)利用手指到桌面的距离，判断手指是否点击桌面。

(6)利用交互的界面和判断手指点击桌面运行一些程序。

2.两个神经网络为目标检测和特征点预测：

(1)目标检标测神经网络使用one stage类型的目检测，既能保证运行速度，也存在更好的精度。

(2)特征点预测的网络可以使用FPN结构的网络，可以多尺度下特征融合，预测出21个特征点。

3.使用双目相机之前需要使用张正友标定法对双目相机进行标定，求出内参矩阵和外参矩阵以及畸变参数，对图片进行畸变矫正和校正。

4.坐标系转换需要求出旋转矩阵和平移向量，在事先在桌面上找到4个点，计算出旧坐标系下的坐标，并换算出新坐标系下的坐标，利用奇异值分解可以求出旋转矩阵和平移向量。

5.设置余阈值进行判断点击桌面的手指范围，可以减小点击的误差。

6.制作一些程序配合点击和交互，实现与桌面的增强现实。