[发明专利]一种对话数据中问答对的抽取方法

说明书

本发明属于客服问答技术领域，尤其是一种对话数据中问答对的抽取方法，包括DusBERT模型，所述DusBERT模型是对原始BERT模型进行裁剪后，并在对话数据上进行再训练的预训练模型，且DusBERT模型包括有数据分析单元，数据预处理单元、数据训练单元、数据分析单元、数据预测单元和数据评估单元，所述数据分析单元具体包括以下步骤：S11：首先将对话数据通过滑动窗口的方式对数据进行切分，进行数据分析。本发明的网络架构计算过程可完全并行,在大量会话数据的情况下，性能可以保障；网络充分考虑上下文，对于简略的问题，例如“为什么”可以从文中获取信息，从而对定位答案有比较大的帮助。

技术领域

本发明涉及客服问答技术领域，尤其涉及一种对话数据中问答对的抽取方法。

背景技术

客服场景中存在大量的问答对，一方面来自于客户提问，客服作答，另一方面来自客服提问，客服作答。对这些问答对抽取有重要的意义，例如可以通过问答对来挖掘客户比较关心的问题是什么，客服的回答是怎么样的，进一步分析什么样的回答更有助于成单，从而总结出相应问题的回复话术；另外，通过问答对抽取可以对客服的服务情况进行监控抽查，在客服质检场景有重要应用。

目前公开的方法主要通过LSTM对每个utterance进行单独编码，利用编码结果判定是否是问句，将所有的utterances分成问句和非问句两部分，对每一个问句和所有的非问句利用Mutual Attention信息融合构成该问句的编码，最后利用问句的编码和所有的非问句进行Match LSTM编码进行输出，利用反向传播更新网络参数训练模型达到目的，这样的做法存在以下问题：

(1)网络的结构复杂，LSTM本身存在梯度消失和梯度爆炸的问题，难以并行，训练存在风险，推断时效偏低。

(2)对话数据情况复杂，对于utterance的编码方式可能丢失信息，而对于口语化的场景，这种编码方式并无法获取足够的语义，比如utterance为“为什么？”，这种编码方式无法获取是针对什么的提问，缺乏语义信息，自然无法很好的定位答案。

(3)整个抽取阶段并非end2end的方式，设计不够优雅。

(4)抽取过程中没有考虑会话角色这一重要信息。

发明内容

基于背景技术中提出的网络的结构复杂，LSTM本身存在梯度消失和梯度爆炸的问题，难以并行，训练存在风险，推断时效偏低的技术问题，本发明提出了一种对话数据中问答对的抽取方法。

本发明提出的一种对话数据中问答对的抽取方法，DusBERT模型，所述DusBERT模型是对原始BERT模型进行裁剪后，并在对话数据上进行再训练的预训练模型，且DusBERT模型包括有数据分析单元，数据预处理单元、数据训练单元、数据分析单元、数据预测单元和数据评估单元，所述数据分析单元具体包括以下步骤：

S11：首先将对话数据通过滑动窗口的方式对数据进行切分，进行数据分析；

S12：将对话数据进行分析后，99％的问答对出现在不同utterance的距离不超过5，为了充足融合上下文，将滑动窗口的吧距离设为9，数据标注也按照此方式进行切分；

S13：将该滑动窗口内的问题按照出现顺序标注为Q_i，该问题的所有回答标注为A_i，为了质检对问题是否回答，对没有答案的问题也进行同样的标注，非问题问答案的utterance标记为O。

优选地，所述数据预处理单元具体包括以下操作步骤：

S21：对每个utterance去掉emoji表情个特殊符号的话预处理手段后，对每个utterance进行格式化输入形式：

S22：当utterances长度不足9采用[PAD]字符填充，推断时可不进行填充。