[发明专利]一种基于概率转移改善问答系统上下文的方法

说明书

一种基于概率转移改善问答系统上下文的方法，属于数据处理方法技术领域，采用分类算法和概率转移矩阵A对于用户问题数据进行处理，(1)对系统预设标注数据；(2)接收用户问题，进行预处理，获得处理数据；(3)通过分类算法对标注数据进行训练，获得意图分类模型；然后，将标注数据输送至概率转移矩阵A进行训练，获得初始化的概率转移矩阵A；(4)对处理数据进行预测，获得预测标签的分布P；本发明提供了一种结合上下文的意图识别方法，通过本方法，可以无需准备带上下文场景的标注数据，节省了人力成本；通过概率转移矩阵A的自我学习能力，能够随着使用时间的变化，整个系统的精准度越来越高。

技术领域

本发明属于数据处理方法技术领域，特别涉及一种基于概率转移改善问答系统上下文的方法。

背景技术

在电商领域，用户(即买家)在线上购物时，会向客服产生咨询行为。在很多自动问答系统中，首先需要做的事就是对买家的意图进行识别分类。通常的做法是把意图识别作为短文本分类，但这种做法割裂了用户的上下文(历史对话)对意图分类的影响。比如，买家说“160”。那么买家既有可能表达的是确认价格，也有可能是在提供自己的身高或是体重。这就需要根据上文来确认具体的意图。目前也存在一些方案去结合上下文做意图识别，比如，连续输入买家的5个问题作为输入，用分层的attention去做分类。或是把上文的标签作为一种特征带入当前句子一起计算。但是，由于这类做法需要用到用户连续的聊天记录，并且需要标注人员在标注每一条数据的时候都需要关注其上下文，因此在标注时会带来额外的工作量，也容易引起标注错误。此外，该方案的另一类缺陷在于，样本极易不均衡，需要人工补充数据。另一类方案是采用规则的方式，即人为的去规定出上下文出现的规则，那么显而易见，这种方案就比较耗时耗力，同时也难以保证枚举出全部可能性。

发明内容

本发明的目的在于克服上述提到的缺陷和不足，而提供一种基于概率转移改善问答系统上下文的方法。

为了解决上述技术问题，采用如下技术方案：

一种基于概率转移改善问答系统上下文的方法，通过分类算法和概率转移矩阵A的结合实现问答系统的改善，具体的步骤内容如下：

(1)对系统预测一系列数据，并人工对其进行标定，从而获得标定数据；

(2)接收用户问题，并对用户问题进行预处理，获得处理数据，便于后续环节处理；

(3)对标注数据进行处理，其处理内容如下：

(3-1)将获得的标注数据通过TEXT CNN模型进行训练，获得意图分类模型；

(3-2)将标注数据输入概率转移矩阵中进行训练，获得初始化的概率转移矩阵A；

(4)将步骤(2)中的处理数据通过分类算法进行预测，获得预测标签的分布P；

(5)对预测标签的分布P进行一系列计算，筛选出缺失的信息Q_i，i＝1,2,3...n；

(6)对于步骤(2)中为一个完整的会话过程的处理数据，结合步骤(3-2)获得的概率转移矩阵A进行处理，获得准确的缺失语句以及相对应的上下文内容；

进一步，所述分类算法为TEXT CNN、LSTM、BERT和SVM,具体为具有预测结果的概率分布的分类算法均可适用本系统。

进一步，所述步骤(5)中的一系列算法具体为：

(5-1)通过平均数公式计算分布P的平均数M，

其中，P₁、P₂...P_i表示具体的数值，i表述该组数据的个数；

(5-2)再通过方差公式计算，筛查出具备，