[发明专利]一种基于CSI的细粒度手势识别方法和系统

说明书

本发明提供一种基于CSI的细粒度手势识别方法，其特征在于，方法包括以下步骤：基于信道状态信息的特征值判断至少一个笔画手势的多个维度的起始点、终结点、速度、方向和/或笔画拐点；采用机器学习方法基于笔画手势的起始点、终结点、速度、方向和/或笔画拐点将笔画分类并形成笔画序列；基于自然语言规律和/或科学语言规律中笔画的出现频率和/或笔画之间的衔接规律构建笔画转移模型；利用笔画转移模型将笔画序列划分并识别为符合自然语言规律和/或科学语言规律的字母序列、偏旁部首序列、数字序列和/或图形序列。本发明通过手势识别文字笔画，再将笔画构建为文字，既丰富了手势识别文字的种类，又提高了手势书写的准确率。

技术领域

本发明涉及人机交互的手势识别技术领域，尤其涉及一种基于CSI的细粒度手势识别方法和系统。

背景技术

在虚拟现实等智能化人机交互应用中，通过识别和追踪人体的手势进行有效且清晰的沟通已成为工业界和学术界的未来趋势和研究热点。为了实现手写文本输入的目的，目前已提出利用声音设备、视觉设备、射频识别设备或者传感器来进行检测的方法。然而，采用这些方法搭建的文本手写输入系统本身都存在着种种不足。在现有的手写输入识别系统中，一部分的系统需要使用者在书写时做出大幅度的动作以便准确识别出书写的内容，一部分的系统需要使用者携带特定的书写设备而对书写的便捷性造成影响，而另一部分系统对书写时系统的设备和书写环境有极高的要求。

随着无线通信技术的发展，越来越多的无线设备被人们应用到生活当中。无线通信技术不仅能够实现无线设备之间的通信，还能够被用来对人体的行为和手势进行判断。因此，利用无线通信技术来进行手写输入的识别被认作是一种有效可行的方法。这种方法通过构建书写时手指运动的轨迹与无线信号变化规律的关系，通过对无线信号的强度或传播信道的变化进行分析来识别书写内容。然而，到目前为止，利用无线通信技术进行手写输入的应用系统十分少见，并且这些系统只能实现有限的输入功能。

中国发明专利(CN 105807935)公开了一种基于WiFi的手势控制人机交互系统，包括：一信号采集模块，从WiFi信号中获取物理层包含用户动作的通道状态信息CSI；一信号处理模块，对采集的信号进行处理，包括去噪、滤波和平滑处理操作；一手势动作提取模块，根据信号处理模块中得到的信号进行手势动作信息提取；一动作指令映射模块，用于从手势动作提取模块中获取手势动作数据，并将其映射成对应的计算机操作指令。该专利首次提出了基于无线网络信号的WiFinger手势感应文本输入系统。然而，该系统目前只能实现通过利用无线设备产生的信号来进行对于不同手指组合而成的数字文本输入的功能，而不能对手写英文字母及单词进行识别。

中国专利(CN 105844216 A)公开了一种利用WiFi信号识别手写字母的检测与匹配机制，其特征在于，1)本系统是CSI基于细粒度手写字母识别的首次应用；2)对采集的CSI数据进行有效的去噪处理；3)提出了有效的提取特征波形方法；4)训练样本，构造26个手写字母匹配文件；5) 提出了上下文错误纠正方法，提高系统识别准确率。该专利通过将手部动作与26个手写字母样本匹配来识别手写字母。然而，该发明局限之处在于，只能预先构造与字母对应的样本，然后对手写字母进行识别，导致样本数量庞大。对于用户手写的非英文字母文字、图形、计算符号等均不能够识别。因此，该发明对于手写内容的识别具有局限性，不能满足现有用户对手写内容多样化的需求。

现有用户不仅需要对字母进行识别，还需要对其它文字进行识别，例如中文韩文、日文的识别、数字识别，并且形成文字或公式。而中文、韩文、日文的字的构造比较复杂，字的样本量大，不适合将字的样本与对应的波形一一映射存储，存储量太大。对于文字、数字和图形，笔画是其基本单位且数量有限，因此笔画作为基本单位是适合的。但是，由于手写笔画与标准笔画的差距，特别是在无拘束的无线环境中，用户在无形的空间进行书写，书写笔画的大小、规格难以统一和互相参照，因此文字和图形的笔画的准确识别是难以解决的技术问题。例如，未和末的笔画相同，仅第一笔画和第二笔画的长短具有区别，区分未和末的难度比区分英文单词的难度要大很多。并且，如何将连续的笔画构建成准确的字或公式也是目前无法实现的技术难题。