[发明专利]基于惯性测量单元的跨设备手机语音信息恢复方法及系统

权利要求书

1.一种基于惯性测量单元的跨设备手机语音信息恢复方法，其特征在于，包括：

在手机播放语音时，读取并保存手机内置惯性测量单元采集的数据；所述惯性测量单元为加速度计和陀螺仪；

对惯性测量单元采集的数据利用信号相关性进行词语分割，获取单个词对应的惯性测量单元数据切片；对每个惯性测量单元数据切片依次进行降维、拼接、标准化、高通滤波和随机降采样的数据增强处理，获得每个惯性测量单元增强数据切片；将每个惯性测量单元增强数据切片输入至一训练好的人工神经网络模型，获得每个惯性测量单元增强数据切片的词语分类结果，组合所有惯性测量单元增强数据切片的词语分类结果获得语音的语义信息；

其中，所述人工神经网络模型以采集的惯性测量单元增强数据切片为输入，以每个惯性测量单元增强数据切片对应的词语分类结果为输出，通过最小化输出与惯性测量单元增强数据切片对应的词语分类结果真值的损失训练获得。

2.根据权利要求1所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，所述的惯性测量单元采集的数据包括加速度计和陀螺仪的x、y、z轴数据及对应的时间戳。

3.根据权利要求1所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，对惯性测量单元采集的数据利用信号相关性进行词语分割之前，还包括对惯性测量单元采集的数据进行降噪处理的步骤。

4.根据权利要求3所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，所述降噪处理采用维纳滤波方法。

5.根据权利要求1所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，所述惯性测量单元为加速度计和陀螺仪，所述对惯性测量单元采集的数据利用信号相关性进行词语分割，获取单个词对应的惯性测量单元数据切片具体为：

分别选取加速度计和陀螺仪信号幅度最强轴中频率为f的成分混叠后的信号进行相乘，对相乘的结果过滤得到直流分量；

使用最大类间方差法确定直流分量值域上的分割阈值，计算所述分割阈值与直流分量交点对应的采样时间；

在加速度计、陀螺仪降噪后的x、y、z轴数据中，找到每个交点对应的采样时间，并向无语音对应的方向移动F_s/5个采样点作为词语分割点，其中F_s为惯性测量单元信号采样频率，根据词语分割点移除无语音对应的数据片段得到词语分割片段，获得加速度计和陀螺仪共六轴的词语分割数据片段。

6.根据权利要求5所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，所述对每个惯性测量单元数据切片依次进行降维、拼接、标准化、高通滤波和随机降采样的数据增强处理具体为：

降维：使用降维的方法将加速度计、陀螺仪的x、y、z轴每个惯性测量单元数据切片数据进行融合：

其中，∥A∥(t)为加速度计x、y、z三轴数据矢量和的模，∥G∥(t)为陀螺仪x、y、z三轴数据矢量和的模，a_max(t)为加速度计信号最强轴的数据，g_max(t)为陀螺仪信号最强轴的数据，sign(·)为取符号的函数；

拼接和标准化：先对降维后的按照加速度计和陀螺仪的x、y、z轴数据对应的时间戳进行拼接，对拼接后的数据进行标准化处理，获得标准化数据：

其中，interp(·)表示拼接操作，norm(·)表示标准化操作；

高通滤波和随机降采样：对标准化后的数据D(t)进行高通滤波，然后采用随机删除采样点的方法将数据降采样，获得惯性测量单元增强数据切片：

S(t)＝DS(HPF(D(t)))

其中，HPF(·)表示高通滤波操作，DS(·)表示随机删除采样点操作。

7.根据权利要求1所述的基于惯性测量单元的跨设备手机语音信息恢复方法，其特征是，人工神经网络模型输入的惯性测量单元增强数据切片的形式为数据矩阵或图片；所述图片为时频谱灰度图I＝specgram(S(t))；其中S(t)为惯性测量单元增强数据切片的时域数据矩阵，specgram(·)表示时域数据转换为时频谱灰度图的过程。