[发明专利]一种基于知识图谱和胶囊网络的小样本意图识别方法

说明书

本发明公开了一种基于知识图谱和胶囊网络的小样本意图识别方法。本发明首先将语句中存在的实体映射到知识图谱，提取该实体在知识图谱中相关联的所有类别信息，并通过注意力机制获得知识先验向量。随后使用阀门机制控制语句中原本存在的上下文语义向量，和该知识先验向量对当前实体表示的影响。下一步利用胶囊网络将已包含先验知识的语句表示映射到高层次的意图表示。最后通过计算未知语句与各个意图之间的相似度，对未知语句做意图分类处理。并且本文对训练集中的数据进行了划分，在训练时采用了元学习的训练方法，使得本文学习到的模型更加具有说服力和通用性。

技术领域

本发明涉及口语理解领域，具体涉及一种基于知识图谱和胶囊网络的小样本意图识别方法，属于自然语言处理中的人机对话领域。

背景技术

口语理解是任务型人机对话系统中不可或缺的一部分，而意图识别是口语理解当中的1个关键任务。该任务的关键是识别出用户语句的目的。当前意图识别模型通常需要在大量标注好的数据集上进行训练，而当模型需要判别领域内新的意图时，往往仅有少量的相关数据可供训练，所以越来越多的研究人员采用基于小样本学习的意图识别方法。在现有的方法中，通常将样本表示进行求和或者求平均的方式来得到意图表示，这样做的问题是同一意图中的噪声样本会导致该意图的高维特征表示丢失“关键信息”，并且该问题在样本数据变多时会更加突出。实际上，同一意图的内部样本通常会共享某些特征，但是每个样本也拥有自己的独立特征。如果在嵌入空间中，仅通过累加或者求平均的方式得到意图表示，会使意图之间的距离过于接近而导致分类失败。因此本发明采用胶囊网络对语句进行层次化建模分别得到高维意图表示和语句表示。小样本学习模型仅能在容量有限的数据集上训练，这会使模型不能充分学习样本的分布特征，从而导致得到的语句向量表示不能包含全部语义。类比人类在学习新事物前拥有的丰富先验知识，可通过加入先验信息的方法，从已有外部知识库中抽取语句中实体的相关信息来加强实体的语义表示。考虑到抽取的外部先验信息可能与实体在语句中需表示的语义信息不一致，因此，可结合实体在语句中的上下文信息，通过阀门机制控制先验信息与上下文信息对实体表示的影响。综上所述，本发明首先从已有知识图谱中，抽取数据集中与语句相关的先验信息，并且结合语句中原本存在的上下文信息，来加强语句中实体的语义表示，随后采用胶囊网络对语句进行层次化建模。将低维语义特征表示映射到高维意图特征表示，最后结合该高维意图特征表示对未知语句进行分类。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于知识图谱和胶囊网络的小样本意图识别方法，以解决在小样本意图识别中，语句语义表示不充分，和不能得到有效意图特征表示的问题。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤(1)获取银行业务数据集并进行预处理，根据数据集中每条语句所属的意图，将数据集划分为10个子业务模块；

步骤(2)确定模型需识别的同业务意图和跨业务意图，并且设置训练规则；

步骤(3)建立基于知识图谱和胶囊网络的小样本意图识别架构，确定网络组成部分以及层数和维度，得到小样本意图识别模型；

步骤(4)将步骤(1)预处理后的语句输入双向LSTM模型，使语句中单词的表示能够获取语句的前后文信息；

步骤(5)利用实体识别工具识别出步骤(1)预处理后的语句中存在的实体，并且映射至知识图谱中对应的实体，抽取该实体相关联的知识表示向量；

步骤(6)利用注意力机制计算步骤(5)抽取到的每一个知识表示向量，与语句中当前实体之间的关联程度；

步骤(7)根据步骤(4)中前一时刻的双向LSTM的隐藏层状态和当前时刻单词输入，得到上下文关联向量，并计算该向量与当前实体之间的关联程度；

步骤(8)先将知识表示向量与对应关联度相乘，后将上下文关联向量与对应影响权重值相乘，将两个相乘结果相加后与原先实体表示进行融合，得到新的实体表示；