[发明专利]基于惯性测量单元的跨设备手机语音信息恢复方法及系统

说明书

本发明公开了一种基于惯性测量单元的跨设备手机语音信息恢复方法及系统，该方法通过在智能手机中读取惯性测量单元在手机因扬声器播放语音而振动时的数据。利用惯性测量单元读出的数据和信号处理技术，实现能够跨设备的手机语音信息恢复方法。系统包括数据采集模块、数据处理模块和预训练人工神经网络模型。有别于之前的基于惯性测量单元恢复手机语音的方法，本发明所提出的方法能够实现在200Hz的低采样率限制下的语音信息恢复，同时消除了设备特征，实现了跨设备语音信息恢复功能。

技术领域

本发明涉及一种基于惯性测量单元(Inertial Measurement Units，IMU)的跨设备手机语音信息恢复方法及系统。

背景技术

智能手机因其丰富的功能、多样的交互和优越的便携性，得到了广泛的普及和应用。智能手机中诸如触摸屏、麦克风、摄像头、惯性测量单元等传感器为多样的人机交互提供了硬件基础，让软件开发者能够使用这些传感器构建多媒介、多形式的应用。由于手机自带扬声器播放音频时产生的振动能够通过机体传导至惯性测量单元传感器，通过使用惯性测量单元传感器中的加速度计和陀螺仪采集包含语音信息的振动信号，再使用数据处理和神经网络技术能够恢复扬声器播放的原始语音的语义信息。这种语音信息恢复技术可以应用于跨模态语音识别、校验和语音转文字领域。

现有的基于惯性测量单元进行手机语音信息恢复的方法，利用手机扬声器播放语音时加速度计和陀螺仪传感器的数据，使用人工神经网络等技术能够达到最高81％的语音识别准确率。但这些方法都存在如下问题：(1)已有方法使用惯性测量单元传感器能够达到的最高采样率(约500Hz)采集数据，在业界限制惯性测量单元的最高采样率为200Hz后的语音信息恢复能力不明；(2)已有方法未提升语音信息恢复模型跨设备性能，使用惯性测量单元对未知设备进行语音信息恢复的能力较差。

本发明提出一种基于惯性测量单元的跨设备手机语音信息恢复方法及系统，能够在传感器低采样率限制下完成语音信息恢复，并有效提升了语音信息恢复模型的跨设备性能。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于惯性测量单元的跨设备手机语音信息恢复方法及系统。本发明是通过以下技术方案来实现的：

本发明公开了一种基于惯性测量单元的跨设备手机语音信息恢复方法，其他特征在于，包括：

在手机播放语音时，读取并保存手机内置惯性测量单元采集的数据；所述惯性测量单元为加速度计或加速度计和陀螺仪。

对惯性测量单元采集的数据利用信号相关性进行词语分割，获取单个词对应的惯性测量单元数据切片；对每个惯性测量单元数据切片依次进行降维、标准化、高通滤波和随机降采样的数据增强处理，获得每个惯性测量单元增强数据切片；将每个惯性测量单元增强数据切片输入至一训练好的人工神经网络模型，获得每个惯性测量单元增强数据切片的词语分类结果，组合获得语音的语义信息。

其中，所述人工神经网络模型通过已采集的惯性测量单元增强数据切片为输入，以每个惯性测量单元增强数据切片对应的词语分类结果为输出，通过最小化输出与惯性测量单元增强数据切片对应的词语分类结果真值的损失训练获得。

作为进一步的改进，所述的惯性测量单元采集的数据包括加速度计或加速度计和陀螺仪的x、y、z三轴数据及对应的时间戳。

作为进一步的改进，对惯性测量单元采集的数据利用信号相关性进行词语分割之前，还包括对惯性测量单元采集的数据进行降噪处理的步骤。

作为进一步的改进，所述降噪处理采用维纳滤波方法。

作为进一步的改进，所述惯性测量单元为加速度计或加速度计和陀螺仪，所述对惯性测量单元采集的数据利用信号相关性进行词语分割，获取单个词对应的惯性测量单元数据切片具体为：

分别选取加速度计信号幅度较强的两轴数据或加速度计和陀螺仪信号幅度最强轴的数据进行相乘，对相乘的结果过滤得到直流分量；