[发明专利]多语种智能语音对话的方法及系统

说明书

本发明公开一种多语种智能语音对话的方法及系统，建立互联网端与手机端进行通信联系的通道；通过通讯服务器实现语音媒体信息流的传输；语音识别；语义分析；话术生成；文字转语音；语音播放。本发明的语种识别根据获取声音快速识别所属语种，判断是否需要切换通话语种；语音识别支持多种语种的语音识别，不同的语种有不同的处理方式；语义分析使用BERT与词库模型结合的方式，每个模型均基于不同语种及不同的应用场景分别训练；话术生成设置多语种话术组，其中每个语种需单独设置单套话术；文字转语音支持多种语种的文字转语音，包括人工录音模型和语音合成模型，从而实现在通话中根据客户交互中使用语言所属语种实时切换到对方语种与之交互。

技术领域

本发明涉及互联网通讯技术领域，尤其是一种多语种智能语音对话的方法及系统。

背景技术

在现在很多智能外呼系统中，都是针对某种特定语言，前置性设计一套话术，比如创建一套中文话术，并以此话术和客户进行交互，如果出现客户听不懂该语言，则无法与客户进行有效沟通。这种现象在一些多语言的国家或一些需要跨国、跨语种沟通场景中尤其常见。

发明内容

为解决客户语言与智能外呼系统输出语言不匹配时，无法进行有效沟通以及客户调整了对话语言，智能外呼系统不能及时调整，有碍理解沟通的问题，本发明提供一种多语种智能语音对话的方法，让智能外呼系统更加智能地针对客户的语言进行自动切换到对方使用的语种进行交互。

为实现上述目的，本发明采用下述技术方案：

一种多语种智能语音对话的方法，包括以下步骤：

步骤1，建立互联网端与手机端进行通信联系的通道

通过外呼装置实现在互联网端基于websocket协议(一种在单个TCP连接上进行全双工通信的协议)以及webrtc协议(一种支持网页浏览器进行实时语音对话或视频对话的通讯协议)的基础上将互联网端和客户手机端通话信道打通；

步骤2，通过通讯服务器实现语音媒体信息流的传输

通道建立后，通过通讯服务器完成通道内通话双方媒体声音传输；使用电话软交换平台捕获经由通道传输的媒体声音流，并开三通将媒体声音导出；

步骤3，语音识别

步骤3.1，预处理：通过预加重、分帧和加窗等方式进行声音预处理。

步骤3.2，语种识别：将分帧加窗后的信号转换为语谱图，使用深度卷积神经网络针对语谱图数据进行特征提取，识别出相应语种；若识别出的语种非当前交互语种，则当前交互语种切换为识别出的语种类型。

步骤3.3，提取声学特征：(N维梅尔频率倒谱系数MFCC)对分帧加窗后的各帧信号进行快速傅里叶FFT变换得到相应的频谱信号，并对语音信号的频谱幅度谱取模平方得到语音信号的能量谱，能量谱通过一组梅尔滤波器组，计算每个滤波器的对数输出能量，带入离散余弦变换(DCT)得到MFCC系数，提取动态差分参数，得到N维MFCC参数；

步骤3.4，根据语种提取对应语音的声学特征：根据不同语种特点，使用类似步骤3.1和步骤3.2所述提取声学特征步骤，提取其他声学特征，包括不限于GFCC，PLP和MFSC等，并根据不同语种实际使用情况选用声学特征或对声学特征进行混合处理；

步骤3.5，静音检测：通过预训练的基于深度神经网络DNN和长短时记忆单元LSTM的混合网络结构进行静音检测；

步骤3.6，断句：根据静音检测结果及该语种对应预设阈值将语音流进行断句处理；

步骤3.7，语音转文字：通过声学模型(包括不限于GMM-HMM和DNN+CTC等)和语言模型(基于深度神经网络和长短时记忆单元)将语音转为对应语种文本信息输出；

步骤4，语义分析