[发明专利]运营商智能定责方法及装置

权利要求书

1.一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，其特征在于，所述方法包括步骤：

S1：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单；

S2：将清好的工单输入至BERT模型，得到训练数据的词向量；

S3：采用CRF算法对词向量进行特征提取，得到特征词序列；

S4：将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；

S5：根据问题根因分析模型对待定责的工单进行分析，确定责任归属。

2.根据权利要求1所述的运营商智能定责方法，其特征在于，所述获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单包括：

获取工单数据的产品类型、服务类型和服务内容；

对产品类型和服务类型进行规范化处理，使用下划线符号替换产品类型和服务类型中的正斜杠符号，使用连字符拼接产品类型和服务类型，生成工单类型；

对服务内容进行文本预处理，将所有的字母转换为小写，并使用Tokenizer对文本进行处理，得到处理后的数据；

将处理后的数据进行ecode处理，将处理后的数据转变为词嵌入、类型嵌入和位置嵌入，得到清洗好的工单。

3.根据权利要求1所述的运营商智能定责方法，其特征在于，所述BERT模型采用双向Transformer作为编码器，以融合字左右两侧的上下文；

其中，Transformer采用了多头模式，以扩展模型专注于不同位置，增大注意力单元的表示子空间。

4.根据权利要求3所述的运营商智能定责方法，其特征在于，所述BERT模型的编码单元中加入残差网络，如下式所示：

其中，为经过残差网络后的输出，h_i为不加入残差网络时多头注意力机制的输出，u_i为多头注意力机制的输入；

按照如下公式计算多头注意力机制的输出，如下式所示：

Transformer结构中的全链接前馈网络有两层dense，其中，第一层的激活函数是ReLU，第二层是一个线性激活函数，其中，为多头注意力机制的输出，b是偏置向量，FNN是全链接前馈馈网络。

5.根据权利要求1所述的运营商智能定责方法，其特征在于，所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：

将BERT模型的输出作为CRF模块的输入，CRF能通过邻近标签的关系获得一个最优的预测序列，其中，给定条件随机场的观测序列f＝f₁，f₂，…，f_n，状态序列y＝y₁，y₂，…，y_n，y_i∈{B，I，O}；

其中，在CRF模块中，给定观测序列f和状态序列y的条件概率分布如式所示：

其中，ω_j为特征函数，γ(f)指所有可能的状态序列，和分别为权重和偏置。

6.根据权利要求5所述的运营商智能定责方法，其特征在于，所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：

CRF采用极大似然估计进行训练，得到条件概率最大的输出序列；

经过CRF模块后，输出的是每一个工单的中的所有的特征词序列。

7.根据权利要求1所述的运营商智能定责方法，其特征在于，所述将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型包括：

通过贝叶斯神经网络将先验分布放置在其参数上，给定第i层的权值矩阵为w_i；输入训练数据集后，输入数据转换为高斯分布，从而获得可能性更高的参数。