[发明专利]一种用于迎宾讲解机器人的语音命令识别方法、设备及介质

说明书

本申请公开了一种用于迎宾讲解机器人的语音命令识别方法、设备及介质，用以解决现有的迎宾讲解机器人在离线时，无法进行语音命令识别的技术问题。方法包括：采集语音数据，并基于语音数据对预设模型进行训练，得到语音命令识别模型；将所述语音命令识别模型部署到迎宾讲解机器人上；对输入所述迎宾讲解机器人的音频数据进行VAD检测，得到语音命令；将所述语音命令输入至所述语音命令识别模型中，得到所述音频数据对应的识别结果。

技术领域

本申请涉及机器人命令识别技术领域，尤其涉及一种用于迎宾讲解机器人的语音命令识别方法、设备及介质。

背景技术

迎宾讲解机器人主要用到博物馆、文化馆、展厅等各种场景，主要用于语音讲解。但在讲解时间过长、网络信号不好等情况下，容易导致迎宾讲解机器人离线，此时，机器人就无法继续进行讲解。

为了保证迎宾讲解机器人在离线时也能实现正常的讲解功能，考虑通过语音命令控制机器人继续进行讲解工作，但是，一般的迎宾讲解机器人在离线时，也无法进行语音命令的识别。

发明内容

本申请实施例提供了一种用于迎宾讲解机器人的语音命令识别方法、设备及介质，用以解决现有的迎宾讲解机器人在离线时，无法进行语音命令识别的技术问题。

第一方面，本申请实施例提供了一种用于迎宾讲解机器人的语音命令识别方法，所述方法包括：采集语音数据，并基于语音数据对预设模型进行训练，得到语音命令识别模型；将所述语音命令识别模型部署到迎宾讲解机器人上；对输入所述迎宾讲解机器人的音频数据进行VAD检测，得到语音命令；将所述语音命令输入至所述语音命令识别模型中，得到所述音频数据对应的识别结果。

在本申请说明书的一个示例中，在基于语音数据对预设模型进行训练之前，所述方法还包括：提取DistilBert模型前3层中的Transfomer层，构建Transfomer模型；通过Hubert模型对所述Transfomer模型进行模型蒸馏训练；训练完成后，保存所述Transfomer模型。

在本申请说明书的一个示例中，基于语音数据对预设模型进行训练，具体包括：对所述语音数据进行预处理，得到预设采样率的单通道小端音频数据；对所述小端音频数据进行VAD检测，得到以句为单位的训练数据；将所述训练数据输入至所述预设模型中进行训练；训练完成后，得到所述语音命令识别模型。

在本申请说明书的一个示例中，对所述语音数据进行预处理，具体包括：对所述语音数据进行降噪处理与回声消除处理。

在本申请说明书的一个示例中，将所述训练数据输入至所述预设模型中进行训练，具体包括：通过FBank算法对所述训练数据进行特征提取，得到所述训练数据对应的特征向量；其中，所述特征向量的为512帧，39维；将所述特征向量输入至预先保存的Transfomer模型中进行处理；通过5个不同维度的Conv1d卷积层对所述Transfomer模型输出的特征进行特征提取，得到全局特征；对所述全局特征进行max-pooling操作，得到5维特征图；将所述5维特征图依次输入至64维的FC层、64维的Dropout层以及10分类的Softmax层中，完成所述预设模型的训练。

在本申请说明书的一个示例中，在完成所述预设模型的训练之后，所述方法还包括：将训练好的所述预设模型转化为ONNX模型；使用ONNXruntime对所述ONNX模型进行量化处理，得到所述语音命令识别模型。

在本申请说明书的一个示例中，所述语音命令至少包括以下任一项或者多项：上一个、下一个、升高音量、降低音量、别说话了、全局讲解、暂停讲解、开始讲解、继续讲解以及体温检测。

在本申请说明书的一个示例中，所述采集语音数据，具体包括：通过唤醒六麦对预设年龄段的人分别进行语音采集。