[发明专利]一种基于预训练模型的自然语言理解方法

说明书

本发明公开一种基于预训练模型的自然语言理解方法。所述方法包括：建立基于双向深度Transformer的预训练模型；对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入特殊标签，得到待理解语句的文本向量；以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；进行意图识别；进行实体识别。本发明可以准确全面地理解意图、识别实体，为后续的对话提供坚实的基础；可以显著提高人机对话系统的质量和用户体验。

技术领域

本发明属于自然语言理解技术领域，具体涉及一种基于预训练模型的自然语言理解方法。

背景技术

近年来，自然语言作为人类表达自己思想最为方便、自然的方式，己逐渐成为人机交互中最主流的方式。因自然语言的多样性、复杂性等特点，实现其准确地机器理解一直是人工智能领域中研究的热点和难点。

人机对话的第一步就是自然语言理解，只有准确全面地理解用户的语言，才能给出合理的回答。自然语言理解具体包括意图识别和实体识别两个任务。可通过建立预训练模型实现型意图识别和实体识别。传统的预训练模型一般基于双向长短期记忆网络，比如，在Matthew E.Peters等人发表在期刊《CoRR》(第abs/1802.05365卷)上的论文“Deepcontextualized word representations”提出的深度上下文语义表示模型就是基于双向长短期记忆网络。其存在问题是，如果堆叠多层，会使模型体积显著增大，模型训练的时间也会显著增加。所以，该架构下很难构建多层的网络结构，使得预训练模型无法捕获深层次的语义信息。

发明内容

为了解决现有技术中存在的上述问题，本发明提出一种基于预训练模型的自然语言理解方法，通过基于大规模语料建立预训练语言模型，在仅有少量训练样本的场景下能准确地进行意图识别及全面地进行实体识别。

为实现上述目的，本发明采用如下技术方案：

一种基于预训练模型的自然语言理解方法，包括以下步骤：

步骤1，建立基于双向深度Transformer的预训练模型，所述预训练模型的输入为一个句子经分词处理并在其开始和结尾分别加入特殊标签后得到的文本向量，输出为所述句子的文本语义向量；

步骤2，对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入所述特殊标签，得到待理解语句的文本向量；

步骤3，以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；

步骤4，将所述待理解语句的文本语义向量输入第一多层感知机进行与意图相关的语义特征提取，并由softmax层计算待理解语句针对每个预置的意图类别的概率，概率最大的意图类别为待理解语句的意图类别；

步骤5，将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取，然后送入双向长短期记忆网络(Long Short-Term Memory，LSTM)进行前向语义与后向语义的融合，最后由一个条件随机场分别计算待理解语句的每个单词取预置的每个实体类别时的概率P，P最大时的每个实体类别即为每个单词的实体类别，进而得到识别的实体类别。

与现有技术相比，本发明具有以下有益效果：

本发明通过建立基于双向深度Transformer的预训练模型，对待理解语句进行分词处理，并调用所述预训练模型，得到待理解语句的文本语义向量，进而进行意图识别和实体识别，可以准确全面地理解意图、识别实体，为后续的对话提供坚实的基础。可以显著提高人机对话系统的质量和用户体验。

附图说明

图1为本发明实施例一种基于预训练模型的自然语言理解方法的流程图；

图2为每层预训练模型的结构示意图；