[发明专利]基于MediaPipe手势识别模型的安卓人机交互方法

说明书

基于MediaPipe手势识别模型的安卓人机交互方法，包括：S1：开启手机摄像头，获取手的每一帧图像；S2：对S1中获取的手的图像，输入到手势识别模型中，实时返回手的关键点的位置信息；S3：对S2中获取的关键点信息，判断做出何种动作，获取动作信息；S4：对S3中获取的动作信息，转换为手机的操作指令，对手机进行实时操作。本发明采用基于计算机视觉的手势识别技术，利用手机前置摄像头采集手势信息，实现人机交互，实现一种基于MediaPipe手势识别模型的安卓人机交互方法。本发明提供的一种基于MediaPipe手势识别模型的安卓人机交互方法实现了用户隔空操作手机，而不需要触碰屏幕，适用于用户双手不便触碰手机屏幕的应用场景。

技术领域

本发明属于图像识别技术领域，涉及一种手势识别算法，具体涉及一种基于MediaPipe手势识别模型的安卓人机交互方法。

背景技术

近年来，随着社会的发展，人机交互逐渐成为日常生活中不可或缺的一部分。在日常生活中人们之间的交流通常会辅以手势来传达一些信息或表达某种特定的意图，其作为一种符合人类日常习惯的交互手段，是一种最直观自然地人际交流方式，手势识别是新一代人机交互所不可缺少的一项关键技术。目前，手势识别的方向有两类：第一类是以数据手套作为输入设备的手势识别系统，这个方向发展要求交互者配戴数据手套或者类似传感器的终端设备等以获取数据信息，例如VR游戏中的操纵杆，游戏机中的手柄等；第二类是借助计算机视觉方面，以摄像机作为输入设备的手势识别系统，输入设备可用单个或多个摄像头或摄像机来采集手势信息，经计算机系统分析获取的图像来识别手势，例如百度手势识别技术，虹软手势识别技术，谷歌手势识别技术等。

手势识别技术相较于其他输入设备而言都要简单，只要求使用者通过手势完成简单动作就可以表达丰富的含义，且安装简单，一般只需要一个单一摄像头作为输入设备即可。

现有手势识别技术由于神经网络模型层数较深，参数量巨大，目前部署到手机端的手势识别技术基本无法做到实时检测，同时，有的手势识别技术还需额外提供存储空间，通过与额外的存储空间交互，进一步增大了使用延迟，使得用户体验感极差。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于MediaPipe手势识别模型的安卓人机交互方法。

本发明采用基于计算机视觉的手势识别技术，利用手机前置摄像头采集手势信息，实现人机交互，实现一种基于MediaPipe手势识别模型的安卓人机交互方法。

本发明通过开启手机摄像头，获取手的图像，并通过手势识别模型，实时处理图像获取相应手势信息，将识别出来的手的实时动作信息处理成各种指令信息，实现不通过触摸手机屏幕，对手机进行操作目的。

本发明提供了一种基于MediaPipe手势识别模型的安卓人机交互方法，包括以下步骤：

S1：开启手机摄像头，获取手的每一帧图像；

S2：对步骤S1中获取的手的图像，输入到手势识别模型中，实时返回手的关键点的位置信息；

S3：对步骤S2中获取的关键点信息，判断做出何种动作，获取动作信息；

S4：对步骤S3中获取的动作信息，转换为手机的操作指令，对手机进行实时操作。

进一步的，步骤S2所述的手势识别模型分为两部分，手掌检测模型和手关键点检测模型，具体包括：

S2-1：将单帧图像输入到手掌检测模型中，检测图像中是否存在手，如果存在，获取手掌所处位置的方形边界框，其中手掌检测模型为Encoder-Decoder架构，Encoder为6层的卷积神经网络，将图片信息进行编码为低维向量表示，Decoder为3层神经网络，将低维向量表示进行解码，最终表示为11136个锚点信息；