[发明专利]由平面指纹估计手指三维姿态的方法和装置

说明书

本申请提出了一种由平面指纹估计手指三维姿态的方法，涉及人机交互和触摸屏幕交互技术领域，其中，由平面指纹估计手指三维姿态的方法包括：采集待测试的平面指纹图像；将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。采用上述方案的本发明解决了现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决了现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决了现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，丰富触屏信息输入，提高用户体验，促进指纹交互式应用的目的。

技术领域

本申请涉及人机交互和触摸屏幕交互技术领域，尤其涉及一种由平面指纹估计手指三维姿态的方法和装置。

背景技术

在人机交互领域，触屏输入作为一种简单、快速的交互方式受到大量智能移动设备的青睐。智能设备之所以能够普及，除了芯片制造，手机系统等技术的发展，也离不开触屏这一交互方式的迭代更新。传统的智能设备可以感应到用户的手指按压区域，并给予相应的反馈。在进行图片放大、旋转、缩放等操作的情况下，用户需要使用到至少两根手指才能顺利完成上述操作。如果能够准确估计出手指在接触触屏时的角度作为额外的输入信息，将极大地提高用户体验，简化部分操作的逻辑，也能够拓宽指纹输入的应用场景，带来更多有趣的交互形式。

指纹作为一种重要的生物识别信息已经广泛用于智能手机、笔记本电脑等的身份认证中，由于指纹识别模型本身存在一些缺陷，不法分子容易利用这些漏洞来构造虚假指纹从而达到欺骗身份识别系统的目的，这对于国民经济、社会稳定、个人信息安全将造成重大损失。在人脸识别中，有同样的问题，该领域的研究者发明了活体检测技术，能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为。然后回到指纹识别领域，活体检测算法却仍然缺少。

在现有的触屏交互中，由于智能设备接受的来自传感器的信息只包括按压手指的数目以及位置，所以由此组合而来的手势有限，无法满足越来越多的交互应用的需求。

指纹的三维姿态估计领域，根据输入指纹的模态能够将现有技术划分成如下几个类型：

一、基于电容感应式指纹的姿态估计

电容感应指纹是利用指纹接触屏幕与非接触情况下的传感器电容差异成像，由于其原理相对简单广泛应用于触屏设备中。(Xiao et al.)从电容感应式指纹中提取了42个特征，并训练了一个高斯回归模型来估计俯仰角和偏移角，并在智能手机和智能手表上取得了不错的精度，但是他们没有无法预测滚动角，因此得到的指纹姿态是不完整的。而且由于这类传感器的分辨率低，姿态估计的精度受限。

二、融合其他模态信息的姿态估计

(Mayer et al.)则使用外部安装的深度相机获取了指纹的深度信息，并融合了先验知识约束俯仰角的范围在0～90度之间。(Watanabe et al.)在实验对象的指尖绑定一个摄像机，通过检测指甲盖的光照强度变化来计算俯仰角和偏移角。这些方案利用了平面指纹之外的模态信息，从而能够获得指纹完整的三维姿态，但是需要引入额外的硬件，给实际应用场景带来阻碍。

三、基于平面按捺指纹的姿态估计

目前为止，直接基于平面按捺指纹去估计手指三维姿态的已有方案只有一个。(Holz and Baudisch)通过计算输入指纹和数据库中相应对象的展开指纹之间的空间变换关系得到当前输入指纹的三维姿态，包括俯仰角、滚动角和偏移角。此方案使用的传感器与本发明一致，但是此方案需要先建立与每一个输入指纹对应的完整展开指纹库，无法对任意一个新用户的平面按捺指纹做出预测，而采集完整的展开指纹是一件冗杂繁琐的过程，给这些技术方案的实际落地带来了困难。

现有三维指纹姿态估计技术方案要么无法精准估计完整的指纹姿态，要么需要额外的传感器设备进行辅助，在功能和便利性方面都不理想。