[发明专利]一种基于预训练模型的自然语言理解方法

权利要求书

1.一种基于预训练模型的自然语言理解方法，其特征在于，包括以下步骤：

步骤1，建立基于双向深度Transformer的预训练模型，所述预训练模型的输入为一个句子经分词处理并在其开始和结尾分别加入特殊标签后得到的文本向量，输出为所述句子的文本语义向量；

步骤2，对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入所述特殊标签，得到待理解语句的文本向量；

步骤3，以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；

步骤4，将所述待理解语句的文本语义向量输入第一多层感知机进行与意图相关的语义特征提取，并由softmax层计算待理解语句针对每个预置的意图类别的概率，概率最大的意图类别为待理解语句的意图类别；

步骤5，将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取，然后送入双向长短期记忆网络进行前向语义与后向语义的融合，最后由一个条件随机场分别计算待理解语句的每个单词取预置的每个实体类别时的概率P，P最大时的每个实体类别即为每个单词的实体类别，进而得到识别的实体类别。

2.根据权利要求1所述的基于预训练模型的自然语言理解方法，其特征在于，所述预训练模型是在整个中文维基百科语料上进行预训练得到的。

3.根据权利要求2所述的基于预训练模型的自然语言理解方法，其特征在于，所述预训练模型由12层Transformer结构堆叠而成，每层由一个自注意力网络和一个通过残差网络、层归一化网络连接的前向传播网络组成，输出768维的向量。

4.根据权利要求3所述的基于预训练模型的自然语言理解方法，其特征在于，所述步骤3提取预训练模型最后4层网络的结果，并把结果相拼接，获得每个单词768×4＝3072维度的表示。

5.根据权利要求4所述的基于预训练模型的自然语言理解方法，其特征在于，在句子开始和结尾加入的特殊标签分别为[CLS]和[SEP]。

6.根据权利要求5所述的基于预训练模型的自然语言理解方法，其特征在于，如果待理解语句中的某个单词不在用于预训练的预置词表中，在所述单词前标注特殊标签[UNK]。

7.根据权利要求6所述的基于预训练模型的自然语言理解方法，其特征在于，步骤5所述概率P的计算公式如下：

式中，A(y_i+1|y_i)表示分词后待理解语句的第i个单词的实体类别为y_i时第i+1个单词的实体类别为y_i+1的概率，p_i(y_i)表示第i个单词的实体类别为y_i的概率，n为分词后待理解语句的单词数量。