[发明专利]基于级联卷积神经网络的第一视角空中手写和空中交互方法

摘要

本发明公开了一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：S1、获取训练数据；S2、设计一个深度卷积神经网络用于手部检测；S3、设计一个深度卷积神经网络用于手势分类和指尖检测；S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；S6、利用连续多帧的指尖采样坐标进行文字识别。本发明提供了一种完整的空中手写和空中交互算法，实现准确鲁棒的指尖检测和手势分类从而实现第一视角空中手写和空中交互。

主权项

1.基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，包括下述步骤：S1、获取训练数据，人工标记包含手部区域的前景区域的左上角点和右下角点，人工标记指尖所在坐标，人工标记不同手势的类别；S2、设计一个深度卷积神经网络用于手部检测，该神经网络输入为第一视角下的单帧图像，输出为手部前景矩形的左上角坐标和右下角坐标，投入训练数据并优化欧氏范数损失函数，迭代直至参数稳定；S3、设计一个深度卷积神经网络用于手势识别和指尖检测，该神经网络输入为仅包含手部区域的前景矩形，输出为指尖坐标和手势类别，投入训练数据并优化一个分段损失函数，迭代直至参数稳定；S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；S6、利用连续多帧的指尖采样坐标进行文字识别。