[发明专利]一种基于深度学习的语义端点检测系统

权利要求书

1.一种基于深度学习的语义端点检测系统，其特征在于，包括：音频信息采集模块、语音特征提取模块、音频片段能量判断模块、信息提取触发器、单轮语义端点检测模块、多轮语义端点检测模块、语音语义多模态端点检测模块以及语音语义端点检测汇总模块；

所述音频信息采集模块用于从语音对话中采集音频信息，并将音频信息发送至所述语音特征提取模块和所述语音语义多模态端点检测模块；

所述语音特征提取模块用于对接收的音频信息中的语音特征进行提取；所述语音特征提取模块将提取的语音特征发送至所述音频片段能量判断模块；

所述音频片段能量判断模块用于对接收到的语音特征的有效音频段进行检测获取，所述音频片段能量判断模块还将检测获取到的有效音频段进行实时声学模型解码获得解码文本，所述音频片段能量判断模块将获得的解码文本发送至所述信息提取触发器和所述语音语义多模态端点检测模块；

所述信息提取触发器用于对接收到的解码文本的语义端点场景类型进行判断，其中语义端点场景类型分为单轮语义端点场景和多轮语义端点场景；所述信息提取触发器根据解码文本的语义端点场景类型的判断结果将解码文本发送至单轮语义端点检测模块或多轮语义端点检测模块；

所述单轮语义端点检测模块用于对单轮语义端点场景的解码文本进行检测并获取基于文本的单轮语义端点检测结果，所述单轮语义端点检测模块将获取的基于文本的单轮语义端点检测结果发送至语音语义端点检测汇总模块；

所述多轮语义端点检测模块用于对多轮语义端点场景的解码文本进行检测并获取基于文本的多轮语义端点检测结果，所述多轮语义端点检测模块将获取的基于文本的多轮语义端点检测结果发送至语音语义端点检测汇总模块；

所述语音语义多模态端点检测模块用于对接收到的音频信息和解码文本进行检测并获取基于多模态的语音语义端点检测结果，并发送至所述语音语义端点检测汇总模块；

所述语音语义端点检测汇总模块用于对获取的基于文本的单轮语义端点检测结果、基于文本的多轮语义端点检测结果以及基于多模态的语音语义端点检测结果进行融合得到最终的端点检测结果。

2.根据权利要求1所述的一种基于深度学习的语义端点检测系统，其特征在于，所述单轮语义端点检测模块或所述多轮语义端点检测模块包括语义匹配端点检测子模块和基于预训练的深度学习语义端点分类子模块；

语义匹配端点检测子模块包括关键字树模糊匹配单元、正则匹配单元以及句子困惑度单元。

3.根据权利要求2所述的一种基于深度学习的语义端点检测系统，其特征在于，采用句子困惑度单元对句子的完整性进行检测，具体步骤如下：

步骤a1：收集大量的对话文本，包括开源的对话数据集合和从业务获取并清洗的对话数据；使用对话文本对N-gram语言模型进行训练；

步骤a2：使用N-gram语言模型对句子进行困惑度进行计算，设定阈值T，当句子困惑度小于T时，判定该句子为完整的；反之，当句子困惑度大于T时，判定该句子为不完整的。

4.根据权利要求2所述的一种基于深度学习的语义端点检测系统，其特征在于，基于预训练的深度学习语义端点分类子模块对对话文本进行检测，即使用基于预训练的bert模型进行语义端点分类，将语义端点检测任务转化为语义分类的任务，语义分类的任务包括语义端点和语义非端点两类；具体方法步骤如下：

步骤b1：从网络中获取开源的对话数据集，对获取的对话数据集进行清洗融合，对bert模型进行预训练；

步骤b2：将语义端点的数据作为正例，将非语义端点的数据作为负例,根据正例和负例对对话数据集进行划分，从而进行分类任务的微调；使用同义词替换、回译、词向量替换以及句向量替换方式进行数据增强，并且使用对抗训练和对比学习方式隐式增加正样本的数量；使用分类和NER联合学习的方式对对话中命名实体识别的任务进行处理；

步骤b3：将训练好的bert模型作为老师模型，通过不断学习教会一个学生模型，对该学生模型进行训练；根据老师模型计算处理的logits和学生模型计算处理的logits计算蒸馏损失，以及真实label产生的损失，最后将这两种损失作加权求和，得到总的损失。