[发明专利]语音交互设备的性能测试方法、装置、设备及可读介质

权利要求书

1.一种语音交互设备的性能测试方法，其特征在于，包括：

向待测的语音交互设备发送测试音频信号，并记录所述测试音频信号的发送时间戳作为第一时间戳；

接收所述语音交互设备响应于所述测试音频信号而返回的测试过程数据，所述测试过程数据包括：针对所述测试音频信号经自动语音识别处理所得的第一文本、以及针对所述第一文本经自然语言处理所得的回复文本、以及所述回复文本经过语音合成所得的回复音频的播放时间戳；

根据所述第一文本和所述回复文本以及与所述测试音频信号对应的测试标注文本和回复标注文本，确定所述语音交互设备的语音识别准确率；

根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述语音交互设备响应于所述测试音频信号而返回的系统状态信息；

根据所述系统状态信息，确定所述语音交互设备的资源占用指标，所述资源占用指标包括工作进程的处理器占用信息、工作线程的处理器占用信息、工作进程的内存占用信息、工作线程的内存占用信息中的至少一项。

3.根据权利要求1所述的方法，其特征在于，在所述向待测的语音交互设备发送测试音频信号之前，所述方法还包括：

基于预设的语音指令集，从预设发音人的性别、所述预设发音人的年龄、所述预设发音人的地域、所述预设发音人的语速中的至少一项，从预设的语音指令集中选择匹配的语音指令作为所述测试音频信号。

4.根据权利要求1所述的方法，其特征在于，在所述向待测的语音交互设备发送测试音频信号之前，所述方法还包括：

根据选定的目标噪声场景类型，所述目标噪声场景类型包括安静场景或噪声场景；

调用与所述目标噪声场景类型对应的加噪处理方法，对所述语音指令集中被选定的语音指令进行加噪处理得到携带噪声的测试音频信号。

5.根据权利要求1所述的方法，其特征在于，所述根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标，包括：

根据所述发送时间戳和针对所述测试音频信号的自动语音识别的结果时间戳，确定所述性能耗时指标包括的自动语音识别尾点耗时指标；其中，所述发送时间戳为语音活动检测判停时间戳；

根据所述发送时间戳和针对所述第一文本的自然语言处理的结果时间戳，确定所述性能耗时指标包括的针对所述第一文本的自然语言处理耗时指标；

根据所述发送时间戳和所述播放时间戳，确定所述性能耗时指标包括的交互耗时指标；其中，所述播放时间戳为针对所述回复文本的文本转语音处理的首包时间戳。

6.根据权利要求1-5所述的方法，其特征在于，在所述根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标之后，还包括：

接收展示指令，所述展示指令包括用户选择的展示选项，所述用户选择的展示选项包括所述性能耗时指标包括的自动语音识别尾点耗时指标、所述性能耗时指标包括的自然语言处理耗时指标、所述性能耗时指标包括的交互耗时指标、语音识别准确率、资源占用指标中的至少一项；

以图表形式展示所述用户选择的展示选项对应的性能耗时指标。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述自动语音识别尾点耗时指标大于预设第一阈值，则进行报警，以用于表征所述自动语音识别尾点耗时指标不合格；

当所述自然语言处理耗时指标大于预设第二阈值，则进行报警，以用于表征所述自然语言处理耗时指标不合格；

当所述交互耗时指标大于预设第三阈值，则进行报警，以用于表征所述交互耗时指标不合格。