[发明专利]一种小样本场景下的自然语言理解方法

说明书

本发明提出一种小样本场景下的自然语言理解方法，所示方法提出预训练模型语言语义表示、意图识别和槽位识别、引入标签语义，使用线性空间映射方法拉远语义表示距离、建立门控网络并融合槽信息和意图信息以及运用抽象标签转移概率来达到在不同领域中也能快速学习理解的目的；本发明的方法能够在小样本的场景下更好的判断出问题的意图，并识别出问题的槽位，从而良好的解决任务型对话系统的自然语言理解任务下数据不足、数据标注成本和模型迁移代价过高的问题。

技术领域

本发明属于自然语言理解领域，具体地，涉及一种小样本场景下的自然语言理解方法。

背景技术

人机对话系统是将机器视为一个认知主体的人机双向信息交互系统，是实现人机交互的一种方式；这项技术可以使得人机交互同人与人之间的交流一样方便。近年来，越来越多的对话系统涌现出来，根据其具体应用，这些对话系统可以大致分为两类：一类是面向任务的对话系统，如阿里小蜜、小米的小爱助手等；另一类是非任务导向型的闲聊机器人，如微软小冰等。在面向任务的对话系统中，用户带着明确的目的，希望得到满足特点限制条件的信息或服务，如订票、订餐、寻找商品等。

目前国内外对于任务型多轮对话系统的研究，主要包括将其管道化(分为自然语言理解、对话管理、自然语言生成三个模块)以及使用基于端到端的神经网络模型构建任务型对话系统，判断文具的意图及槽位值；对话管理确定当前的对话状态，并决定下一步的回复策略；自然语言生成根据得到的回复策略选择相应的模板进行回复。

对于对话系统，深度学习技术可以利用大量的数据来学习自然语言理解中的意图识别和槽的映射，然而目前的深度学习方法都需要大量的标注训练数据，而在真实的落地场景下，大量人工标注数据往往是很难获得的。

发明内容

针对上述问题，本发明提出了一种小样本场景下的自然语言理解方法，对小样本场景下的对话系统中意图识别和槽填充问题，利用已有经验知识，在面临一个全新的领域时候，可以在只给出极少的样例时，依然能成功的判断出问句的意图和槽信息。

本发明是通过以下方案实现的：

一种小样本场景下的自然语言理解方法，所述方法包括以下步骤：

步骤一：引入预训练语言模型进行文本的表示，建立层与层间的注意力机制，通过对不同层的语义表示向量加权，生成最后的表示向量，并利用上下文消除歧义；

步骤二：对问题进行问句分析，所述问句分析包括意图识别和槽位识别；

步骤三：引入标签语义，使用线性空间映射方法拉远语义表示距离；

步骤四：建立门控网络，融合槽信息和意图信息；

步骤五：在不同领域进行展开，学习抽象的标签转移概率。

进一步地，在步骤一中，

使用BERT预训练语言模型，利用所述BERT预训练语言模型执行神经语言程序学NLP任务；在BERT预训练语言模型的编码器层中，底层学习词法信息，中层学习语法信息，上层学习语义信息，通过提取各个编码器层向量并进行加权混合，来生成适配所述神经语言程序学NLP任务的语义向量；

利用上下文来消除歧义：将样例数据和要判别的数据的句子拼接并表示，通过BERT预训练语言模型来捕获上下文信息，进而得到一个关于词的不同的表示。

进一步地，在步骤二中，

通过问句分析将输入的文本转换为结构化的语义表示，所示语义表示为slot-value形式；

所述意图识别是在给定句子x的情况下判断最佳意图z，即处理标准的多分类问题；

所述槽位识别是在给定句子x中提取有用的信息，即序列标注问题。

进一步地，在步骤三中，