[发明专利]基于特征匹配和领域自适应的对话意图识别方法及系统

说明书

本发明提出了一种基于特征匹配和领域自适应的对话意图识别方法及系统，属于自然语言处理、意图识别技术领域。首先获取客服领域的预训练语言模型；利用对比学习对预训练语言模型进行二次训练，作为句子特征表示模型；针对不同领域，训练领域自适应的特征转换模块；获取由对话语句和目标意图组成的意图语料库，提取对话语句的领域自适应的句子特征并构建特征语料索引库；获取待识别的询问语句对应的领域自适应的句子特征，从特征语料索引库检索与其最匹配的句子特征对应的目标意图作为识别结果。本发明只需一个基础的句子特征表示模型和多个特征转换模块，解决了复杂的智能客服意图识别问题，提高了意图识别的准确性。

技术领域

本发明涉及属于自然语言处理、意图识别技术领域，具体涉及一种基于特征匹配和领域自适应的对话意图识别方法及系统。

背景技术

近年来，智能客服逐渐取代了传统的人工客服，智能对话系统作为最关键的前沿技术之一，一直受到学术界和工业界的高度关注。其中，对话意图识别作为智能对话系统的核心，是实现智能对话系统必不可少的模块，也是众多研究者的研究方向。

目前已有的意图识别算法主要分为基于规则的文本匹配算法和基于机器学习的深度学习算法。其中，基于规则的文本匹配算法在小样本数据上表现良好，且计算速度快，准确率较高。但是，该算法基于的字符规则需要大量人工编写，且缺乏语义理解能力，泛化性能较差，尤其对于比较复杂的意图识别问题，规则难以编写和维护。基于机器学习的深度学习算法能够通过大样本的学习，学习到很好的语义表示，但是，该算法对于小样本数据很容易过拟合，泛化性能较差，更重要的是，对于智能客服领域的千人千面需求，常规深度学习算法训练代价较大，成本较高。

众所周知，智能客服的意图识别存在两方面主要的业务特点，一方面，客服系统存在大量的客户，而不同客户的意图标签是不同的，即千人千面。另一方面，每个客户的意图训练数据量很少，无法针对每个用户去单独训练一个深度学习模型，这样成本极高且小样本数据无法克服过拟合问题。同样，基于规则的文本匹配算法不具备语义理解能力，无法解决复杂的智能客服的意图识别问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于特征匹配和领域自适应的对话意图识别方法及系统，具体采用如下技术方案：

本发明的其中一个目的在于提供一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，包括以下步骤：

步骤一：获取客服领域的预训练语言模型；

步骤二：利用对比学习，构建不同领域的正样本对和负样本对，对预训练语言模型进行二次训练，作为句子特征表示模型；

步骤三：建立包含不同领域对话语句和目标意图标签的意图语料库，针对不同领域的对话语句，训练领域自适应的特征转换模块，每一个领域对应一个特征转换模块；

步骤四：将意图语料库中的对话语句作为步骤二所述的句子特征表示模型的输入，提取到句子特征，再将句子特征作为步骤三得到的相对应领域下的特征转换模块的输入，生成对应领域下的句子特征，由所述的对应领域下的句子特征和目标意图标签构建特征语料索引库；

步骤五：针对已知领域的待识别的询问语句，首先利用句子特征表示模型获取待识别询问语句的句子特征，再将得到的句子特征作为相对应领域下的特征转换模块的输入，生成对应领域下的句子特征；将生成的句子特征与特征语料索引库中的句子特征进行特征匹配，将特征语料索引库中最邻近的句子特征对应的意图标签作为意图识别结果。

本发明的第二个目的在于提供一种上述的基于特征匹配和领域自适应的对话意图识别方法的系统，包括：

预训练语言模块，其用于将语言模型在客服领域的语料库中进行预训练；

句子特征表示模块，其用于构建正样本对和负样本对，利用对比学习的方式微调预训练后的语言模型参数，实现语言模型的二次训练，生成询问语句的句子特征；