[发明专利]一种基于深度学习的语义端点检测系统

说明书

本发明公开了一种基于深度学习的语义端点检测系统，涉及语义端点检测技术领域，解决了现有技术中语音端点检测不准的技术问题；包括：音频信息采集模块、语音特征提取模块、音频片段能量判断模块、信息提取触发器、单轮语义端点检测模块、多轮语义端点检测模块、语音语义多模态端点检测模块以及语音语义端点检测汇总模块；本发明在端点检测中，分别对单轮、多轮和序列化的对话进行语义分析，使端点检测不仅有语音的声学特征还同时具有语义特征，真正做到了智能化、拟人化的端点检测，极大提升了人机对话的流畅度和智能度。

技术领域

本发明属于语义端点检测领域，具体是一种基于深度学习的语义端点检测系统。

背景技术

语音端点检测指的是在有环境噪声的情况下，从语音信号中确定语音的起始点和结束点的位置的操作。语音端点检测是语音识别领域中一个重要内容，是语音信号处理的第一步。

目前，语音端点检测的研究方法主要有三类：基于声学特征的方法、无监督方法和有监督方法。这三类方法，都是基于语音的端点检测，通过对语音的能量以及有效音频的建模，检测出有效语音片段的起始点，通过静音时长判断有效语音片段的停止点。

但是，人机交互场景中，不同用户说话断句习惯的不同会导致不同对话的后端点静音时延不一致，对于语速慢、停顿多的用户可能会导致语音片段不完整的问题；对于用户明确表达“等等”、“我看一下”、“稍等一下”的情况，依靠语音端点检测无法理解用户需要等待的需求；对于单号收集、地址收集等场景，用户常常在回复的时候，需要思考或者是查询相关信息才能继续回复，如果这个时候依靠语音端点检测结果将用户打断，会导致信息片段收集不完整、人机交互体验差等问题。

因此，本发明提出了一种基于深度学习的语义端点检测系统，在语音端点检测的基础上引入语义端点检测技术。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的语义端点检测系统，该基于深度学习的语义端点检测系统解决了现有技术中语音端点检测不准的问题。

为实现上述目的，根据本发明的第一方面的实施例提出一种基于深度学习的语义端点检测系统，包括：音频信息采集模块、语音特征提取模块、音频片段能量判断模块、信息提取触发器、单轮语义端点检测模块、多轮语义端点检测模块、语音语义多模态端点检测模块以及语音语义端点检测汇总模块；

所述音频信息采集模块用于从语音对话中采集音频信息，并将音频信息发送至所述语音特征提取模块和所述语音语义多模态端点检测模块；

所述语音特征提取模块用于对接收的音频信息中的语音特征进行提取；所述语音特征提取模块将提取的语音特征发送至所述音频片段能量判断模块；

所述音频片段能量判断模块用于对接收到的语音特征的有效音频段进行检测获取，所述音频片段能量判断模块还将检测获取到的有效音频段进行实时声学模型解码获得解码文本，所述音频片段能量判断模块将获得的解码文本发送至所述信息提取触发器和所述语音语义多模态端点检测模块；

所述信息提取触发器用于对接收到的解码文本的语义端点场景类型进行判断，其中语义端点场景类型分为单轮语义端点场景和多轮语义端点场景；所述信息提取触发器根据解码文本的语义端点场景类型的判断结果将解码文本发送至单轮语义端点检测模块或多轮语义端点检测模块；

所述单轮语义端点检测模块用于对单轮语义端点场景的解码文本进行检测并获取基于文本的单轮语义端点检测结果，所述单轮语义端点检测模块将获取的基于文本的单轮语义端点检测结果发送至语音语义端点检测汇总模块；

所述多轮语义端点检测模块用于对多轮语义端点场景的解码文本进行检测并获取基于文本的多轮语义端点检测结果，所述多轮语义端点检测模块将获取的基于文本的多轮语义端点检测结果发送至语音语义端点检测汇总模块；