[发明专利]一种语音反讽检测方法、系统、终端设备和存储介质

说明书

本发明涉及语音识别检测技术领域，公开了一种语音反讽检测方法、系统、终端设备和存储介质，包括：对输入的语音特征向量进行文本表征提取，获取输入的语音特征向量的语义信息；对输入的语音特征向量进行非文本表征提取，获取输入的语音特征向量的生理信息；将提取的语义信息和生理信息进行向量拼接，作为k层全连接网络的输入向量，经训练得到输入的语音特征向量的反讽识别结果。本发明在使用一般书面文本作为反讽检测任务输入的同时，对原始音频中隐含的情绪、语气和停顿等非文本特征加以利用，并将两类特征转化为高层次表征，将结果合并起来进行决策，以达到更好的反讽识别准确率。

技术领域

本发明属于语音识别检测技术领域，涉及一种语音反讽检测方法、系统、终端设备和存储介质。

背景技术

反讽检测(sarcasm detection)往往被视作一项单独的NLP任务，一般使用书面文本作为输入，通过上下文关联来分析其中某些词或者某句话使用反语的可能性。由于反语的表达十分隐晦，仅仅关注文本语句很难做出正确的判断，因此这项任务的难度很高，目前大多数方案的实际效果都不是太理想。

按照一般的做法，如果要检测人们口语中的反语，需要先进行一项语音识别任务，将音频转化为文本，再进行后续的反讽检测。在实际生活中，当人们使用反语时，情绪、语气、和停顿等等都会与普通的表达方式有所差异，而这些信息在文本中并不会体现出来。常规的方案在真正进行反讽识别时，只利用到了转译后的书面文本，将其转化为词级或者句级的文本表征，并没有充分利用原始音频中的其它非文本信息。目前，一些研究者使用BERT模型预训练获得的表征，或者使用GloVe之类的表征来进行反讽检测模型的训练，往往也只能达到不到0.7的F1值。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种语音反讽检测方法、系统、终端设备和存储介质，本发明在使用一般书面文本作为反讽检测任务输入的同时，对原始音频中隐含的情绪、语气和停顿等非文本特征加以利用，并将两类特征转化为高层次表征，将结果合并起来进行决策，以达到更好的反讽识别准确率。

为达到上述目的，本发明采用以下技术方案予以实现：

一种语音反讽检测方法，包括以下步骤：

对输入的语音特征向量进行文本表征提取，获取输入的语音特征向量的语义信息；

对输入的语音特征向量进行非文本表征提取，获取输入的语音特征向量的生理信息；

将提取的语义信息和生理信息进行向量拼接，作为k层全连接网络的输入向量，经训练得到输入的语音特征向量的反讽识别结果。

一种语音反讽检测系统，包括：

文本表征提取模块，所述文本表征提取模块用于对输入的语音特征向量进行语音识别和反讽检测，输出语句所对应的文本表征；选取设定时间段的上下文进行建模，捕捉语句所在字段的中心思想；

非文本表征提取模块，所述非文本表征提取用于对输入的语音特征向量进行识别，输出语句所对应的非文本表征，捕捉整个时间序列中的特殊值，判断整句话是否存在语气、腔调的改变；

合并决策模块，所述合并决策模块用于按照时间标记，将当前句所在的时间段的文本表征和非文本表征对应拼接在一起作为输入，经过全连接网络得到最终的分类结果。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

与现有技术相比，本发明具有以下有益效果：