[发明专利]利用手机扬声器和麦克风识别人体舌头下颚动作的方法

说明书

本发明公开了一种利用手机扬声器和麦克风识别人体舌头下颚动作的方法。使用手机扬声器和麦克风组成一个简易主动声纳系统，通过使用动态阈值切割算法、支持向量数据描述分类器，可精准从带有其他动作引起的耳道壁运动信号中提取和切分由舌头下颚动作引起的耳道壁运动信号。通过使用信号转换算法，有效消除由用户耳道形态差异以及音频传感器位置差异引起的耳道壁运动信号差异。基于分类器反馈，对耳道壁运动信号特征进行选择，筛选出最有益于舌头下颚动作识别的时域特征，利用这些特征和随机森林分类器，实现舌头下颚动作准确识别。本发明不依赖各类传感器和穿戴设备，具有成本低、使用舒适度高、隐蔽性高、不受光照条件影响等优势。

技术领域

本发明涉及一种人体舌头下颚动作识别方法，尤其涉及一种利用智能手机扬声器和麦克风识别人体舌头下颚动作的方法，用于扩展人机交互应用，属于移动计算应用技术领域。

背景技术

随着人机交互方法的不断发展和革新，如何自然地与AI系统进行交互变的越来越重要。近年来，这一需求促进了多种类型的人机交互技术，例如语音识别和手势识别。然而，这些方法易被窃听，而且只对健康的用户有效。

人体舌头及下颚的运动，可以通过不同运动组合呈现丰富的信息，与现有的交互方式相比，更有利于隐私性，允许有语言障碍或者手指协调能力差的用户进行交互。

现有的舌头下颚动作识别方法，主要依赖在口腔内布置传感器实现。例如，通过布置在舌尖的磁力计追踪舌尖位置；通过布置在上颚的数百个接触传感器感知舌尖接触的部位。但是，这类方法会造成用户的不适，且会影响用户言语交际和其他口部功能。另外，口腔内置的传感器对卫生要求较高，不利于广泛应用。

目前，也存在一些利用部署在用户身体上的专用设备进行舌头下颚动作识别的方法。例如，通过观察用户的脑电图、肌电图和耳后皮肤变形程度来监测控制舌头下颚运动的肌肉状态，从而识别舌头下颚动作；通过一组集成在头盔中的雷达捕捉舌头的运动状态。但是，这些专用设备通常都存在成本高昂、需要具有专业知识的人协助佩戴和抗干扰性差等问题。

此外，还有一些利用摄像头的舌头下颚动作识别方法。但是，该类方法无法在闭口时检测舌头动作，其只能识别张口时舌头动作的特性破坏了交互隐蔽性，并且该类方法的准确率受到环境光照强度的影响较大。

综上所述，现有的方法存在各种不足，亟需新方法来克服其局限性。

发明内容

本发明的目的是为了克服现有技术的不足，为了解决低成本且有效识别人体舌头下颚动作的技术问题，提出一种利用手机扬声器和麦克风识别人体舌头下颚动作的方法。

本发明的创新点在于：使用智能手机的扬声器和麦克风，组成一个简易主动声纳系统。扬声器发送音频信号至耳道内，麦克风捕捉耳道反射的音频信号。当人体舌头下颚动作时，会引起耳道壁运动，造成耳道变形。通过分析反射音频中由舌头下颚动作引起的独特音频反射信号，识别用户执行的舌头下颚动作。

本发明的目的是通过以下技术方案实现的：

一种利用手机扬声器和麦克风识别人体舌头下颚动作的方法，包括以下步骤：

步骤1：检测手机麦克风和扬声器与耳道的相对位置关系。

该步骤的目的是帮助用户将手机上的音频传感器(麦克风和扬声器)对准耳道腔体，以获取携带有耳道壁运动信息的音频多径反射信号。

具体地，包括以下步骤：

步骤1.1：采集用户耳道的反射音频信号。

用户将手机贴近耳部并执行预定义的舌头下颚动作，手机扬声器发出连续的音频信号，该音频信号经过运动的耳道壁的反射生成特殊反射音频信号，反射音频信号被手机麦克风所采集。