[发明专利]基于深度学习的新型手部增强现实技术

说明书

本发明涉及基于深度学习的新型手部增强现实技术。本发明涉及深度学习和双目视觉领域，主要利用双目相机进行拍摄左右视觉下的图像，利用深度学习对图片中的手进行预测21个特征点，利用双目产生的视差对图片进行深度计算，转换坐标系之后判断手指是否点击了桌面，提前绘制好需要交互的信息，与点击桌面的手指进行交互，实现桌面上的增强现实功能。

技术领域

本发明涉及深度学习和机器视觉领域，以深度学习作为工具辅助预测特征点，主要利用双目进行深度预测出特征点的世界坐标。

背景技术

增强现实是直接将现实的实景和虚拟的信息融合的一项技术，目的是给现实世界提供更为丰富的信息，并能够与其进行交互，能够进行控制虚拟信息，或者被人类感官所感知。

近年来，增强现实技术同时也方便了人们的日常生活和各个领域的仿真，随着计算机的发展，增强现实技术逐渐走入很多人的生活之中，逐渐成为一种新的交互方式，因此也产生了新的娱乐产业。例如，AR眼镜成为一种显示的载体，将拍摄出的视频直接显示在AR眼镜上。

但目前为止，增强现实的难题之一是目标的坐标精度，由于相机或其他传感器存在误差，不能非常精准描述图像中的世界坐标，跟何况根据图片处理更多的坐标，不仅计算量大，也消耗非常庞大的资源消耗，这样对机器的要求也很高，因此需要新的算法去解决这种问题。

通常是直接根据图像去直接预测出坐标的现实位置，由于图象是根据现实的环境映射而来，所以映射之后就会缺失深度信息，是不完全的坐标，因此很大的误差就是从这里而来。

从图像上获取坐标深度的方法也有很多，最为精准的方法就是利用双目系统产生的视差直接测距。但在大范围的图像匹配中会消耗时间和资源，这种时间消耗会影响实时性，虽然使用更好配置的机器设备会提高效率，但这样也会让产品的成本上升，因此还可以使用更好算法去解决更多的这种类似的问题，实现相同的效果。

随着深度学习的发展，深度学习为很多领域提供了一种新的解决方案，尤其是视觉方面，深度学习在此领域出了更多的高效精准的模型，因此有人也将深度学习用在视觉的一些处理上，与增强现实结合在一起，不仅解决了一些特殊问题。

深度学习中的目标检测，是预测图片中目标的一种模型算法，它解决了复杂的图像处理过程，只需要经过训练就可以直接定位到图片中目标的位置。同时近几年，目标检测也有了很大的提升，从原先的two stage到现在的one stage网络，不仅提升了很大的速度，也减小了运算量。近几年为了将神经网络部署在嵌入式端，因此比较注重网络模型缩小，也因此产生了很多优秀的轻量级网络，即使在CPU上运行的效率也比较高。除了目标检测，也会使用其他网络可以直接进行特征点预测，主要预测出很多的固定特征位置。

由此看来，深度学习给增强现实提供了更多的方案，可以更好的预测出更为复杂的目标，因此此项发明就是利用深度学习去预测出需要的特征点。

发明内容

本发明主要目的在于提供了一种新的思路去实现增强现实的交互，并使用了更为优秀的深度学习去处理一些图像。

主要方法是利用双目拍摄桌面上的手，分别提取出左右相机拍摄出手的21个特征点的图像坐标，经过双目的原理之后直接可以测出每个特征点到左相机光心的距离，也就是每个特征点的深度值，同时也可以得到该特征在以左相机为光心的坐标系下的坐标，最后经过坐标系转换之后可以得到以桌面的为平面下的坐标。得到了坐标之后，进而言之可以直接判断手指是否直接点击了桌面，配合着绘制的一些图像，可以配合实现点击交互。

本发明所使用的神经网络有两个，一个是目标检测，一个是类似FPN结构的编码器解码器结构的神经网络，前者是主要定位手掌的位置，并且根据手掌的位置裁剪出整个手的图片；后者根据这张图片进一步提取出手的21个特征点的坐标。