[发明专利]一种基于高频声波短时傅里叶变换的手写字母识别方法

摘要

本发明涉及一种基于高频声波短时傅里叶变换的手写字母识别方法，将高频声波信号的短时傅里叶变换得到的频谱图作为特征，通过裁剪、灰度处理以及归一化处理之后训练卷积神经网络训练模型，并使用该模型提取特征，最后使用SVM分类器识别用户所写的英文字母。本发明的识别方法，无需用户佩戴额外的可穿戴设备或部署其他收发设备，同时不受环境中说话等其他噪音的影响，同时使用了深度学习与机器学习的方法建立用户模型，而非定位的方法还原用户手的移动轨迹，避免了其他方法要求用户一笔完成手写字母的缺陷。

主权项

1.一种基于高频声波短时傅里叶变换的手写字母识别方法，其特征在于，包括以下步骤：步骤1，收集训练数据在手机上设置有训练数据收集模块，用于发射调制好的高频声音信号，同时收录用户书写英文字母时所述高频声音信号的反射信号；高频声音信号的调制方法为：步骤1.1，选择13位Barker码作为基带信号，13位Barker码表示为：s＝[‑1,‑1,‑1,‑1,‑1,1,1,‑1,‑1,1,‑1,1,‑1]步骤1.2，将两个所述的13位Barker码连接后，再补14个0，使其长度为40，记为S₁；步骤1.3，对S₁进行12次上采样，得到长度为480的S₂，将S₂调制到频率为19kHz的正弦波上，表示为：signal＝S₂·cos(2πf_ct)其中，t表示时间，f_c表示载波频率，f_s表示采样率；步骤1.4，使用带通滤波器去除signal信号其他频率上的噪声，只留下17kHz‑21kHz的高频声波信号；步骤1.5，将滤波后的signal信号保存成wav格式，训练数据收集模块通过播放wav格式的signal信号发射高频声音信号；步骤2，训练网络模型步骤2.1，读取步骤1中得到的wav文件，对其进行短时傅里叶变换；提取wav文件中信号的频谱矩阵S和功率谱矩阵P，以及时间分割向量T和频率分割向量F，绘制(T,F,(P./abs(S)))三者之间关系的STFI图；步骤2.2，将步骤2.1中得到的STFI图进行裁剪，只留下17kHz‑21kHz的频率段的频谱图；步骤2.3，对步骤2.2中裁剪后的频谱图进行灰度处理，使得3通道的彩色图像转换为单通道的灰度图像；步骤2.4，对步骤2.3处理后的频谱图进行归一化处理，处理过程为：img＝(im‑mean(im))/255，其中im为步骤2.3灰度处理后的频谱图数据，img为归一化处理后的数据；步骤2.5，建立CNN模型第1层为2D卷积层，第2层为MaxPooling2D池化层，第3层是2D卷积层，第4层是MaxPooling2D池化层，第5层是Dropout，第6‑8层是2D卷积层，第9层是MaxPooling2D池化层，第10层是Dropout，第11层为Flatten层，将数据拉成1维；第12层是全连接层，第13层是Dropout，第14层是全连接层，第15层是Dropout，最后一层是使用softmax作为激活函数的全连接层；步骤2.6，将步骤2.4处理得到的数据作为步骤2.5建立的CNN模型的输入，同时输入数据对应的标签，训练该CNN模型，并将训练好的CNN模型保存；步骤2.7，使用步骤2.6得到的CNN模型提取Flatten层的数据作为SVM分类器的输入，训练SVM分类器模型，存储训练好的分类器模型；步骤3，识别阶段步骤3.1，使用步骤1的方法获取用户写字母时候的数据，然后使用步骤2.1‑2.4的方法对数据进行处理；步骤3.2，将步骤3.1得到的数据作为步骤2.6的输入，使用步骤2.6得到的CNN模型提取新数据的Flatten特征，通过步骤2.7保存的分类器模型来识别所写的英文字母。