[发明专利]基于超声波的手写识别方法、系统及移动端和服务器

说明书

本申请提供了一种基于超声波的手写识别方法、系统及移动端和服务器，本申请将超声波与手写识别结合，提出了一种新的输入方式，通过CTC损失与LSTM结合的机器学习技术，系统实现了对手写输入的实时识别；采用自相关序列搭载之后的超声波，提高了针对环境变化的鲁棒性，在跨环境实验中达到了较高的字母识别准确率；通过机器学习模型对单词间间隔具有良好的分割能力，能够支持连续的手写输入识别，解决了长序列输入在实际应用中难以分割的问题，并部分解决了无源感知面临的跨环境问题，展现了超声波无源识别在商用领域上的巨大潜力。

技术领域

本申请涉及手写识别技术领域，特别是涉及一种基于超声波的手写识别方法、系统及移 动端和服务器。

背景技术

无源感知系统是利用日常生活中广泛分布的无线传感器产生的无线信号感知人的行为的 系统。目前智能电子产品的商用扬声器和麦克风具有收发超声波的能力，利用其超声波构建 无源感知系统，可以拓展人机交互的能力。无源感知相比于基于计算机视觉的感知方法，涉 及用户隐私的风险较小，且具有很大的能耗优势，具有重要的应用价值。基于超声波进行手 写识别相比于键盘或触屏的输入方式更符合人的日常行为习惯，也是基于超声波的无源识别 系统的重要应用方向。

然而，目前基于超声波的无源的感知系统一般将手势或唇语动作作为识别对象，手势识 别针对的识别粒度无法满足手写识别的要求，而唇语动作没有考虑空间关系变化的活动识别。 目前的超声波动作识别主要关注单命令式的输入，而手写识别作为连续性的输入方式具有更 长的活动序列长度，蕴含的信息也更丰富。

在技术方案上，关注单命令输入的系统，在识别上首先通过基于阈值的算法对收集的样 本数据进行分割，然后通过机器学习的方法训练出具有识别能力的系统，在实际使用时要求 用户在动作结束后主动停顿，便于算法分割出可用于识别的实际数据。基于阈值的分割算法 难以适用于连续性的输入，在实际应用中对用户的交互行为有一定的限制。另外，这些系统 中的机器学习算法常关注于将不同的单个动作进行分类，而少有对活动序列中的前后因果关 系进行考虑，缺乏应用到手写识别输入系统中的能力。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于超声波的手写识别方法、 系统及移动端和服务器，以解决现有技术中手写识别的存在长序列难以分割和无源感知面临 的跨环境问题。

为实现上述目的及其他相关目的，本申请提供一种基于超声波的手写识别方法，应用于 具有扬声器与麦克风的移动端，所述方法包括：通过扬声器播放加载有调制为超声波频段的 GTS原始序列的超声波音频信号；通过麦克风接收移动端附近的手写动作所反射的超声波音 频文件；上传所述超声波音频文件至服务器，以供接收所述服务器返回的单词结果。

于本申请的一实施例中，所述GTS原始序列调制为超声波频段的方法包括：确定GTS 原始序列所需调制的目标带宽和目标频段；依据目标带宽和音频文件频率，经傅立叶变换得 到GTS原始序列的频率分布；通过加零算法延长GTS原始序列长度，经反向傅立叶变换得 到为目标带宽的信号；通过与特定频率的正弦波计算将该信号上采样到目标频段范围内；其 中，所述特征频率为所述目标频段的中间频率。

于本申请的一实施例中，所述目标频段的确定方法为：获取移动端的音频采样率上限； 根据奈奎斯特采样定理得到移动端的信号频率上限；依据信号频率上限与超声波下限频率确 定目标频段。

为实现上述目的及其他相关目的，本申请提供一种基于超声波的手写识别方法，应用于 服务器，所述方法包括：获取移动端上传的表征有手写动作的超声波音频文件；依据所述超 声波音频文件获取其内包含的GTS手写序列，据以计算表征手写动作的信道脉冲响应特征； 提取信道脉冲响应特征的实部、虚部以及对应时间维度的差值数据，作为多维特征输入到神 经网络模型，以提取手写动作序列中与不同单词或字母关联的深度特征；基于双向LSTM和 CTC损失函数构建的时序模型，以训练手写动作序列对应单词或字母维度的概率预测向量， 以供识别手写动作对应的单词结果并传回移动端。