[发明专利]基于特征匹配和领域自适应的对话意图识别方法及系统

权利要求书

1.一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，包括以下步骤：

步骤一：获取客服领域的预训练语言模型；

步骤二：利用对比学习，构建不同领域的正样本对和负样本对，对预训练语言模型进行二次训练，作为句子特征表示模型；

步骤三：建立包含不同领域对话语句和目标意图标签的意图语料库，针对不同领域的对话语句，训练领域自适应的特征转换模块，每一个领域对应一个特征转换模块；

步骤四：将意图语料库中的对话语句作为步骤二所述的句子特征表示模型的输入，提取到句子特征，再将句子特征作为步骤三得到的相对应领域下的特征转换模块的输入，生成对应领域下的句子特征，由所述的对应领域下的句子特征和目标意图标签构建特征语料索引库；

步骤五：针对已知领域的待识别的询问语句，首先利用句子特征表示模型获取待识别询问语句的句子特征，再将得到的句子特征作为相对应领域下的特征转换模块的输入，生成对应领域下的句子特征；将生成的句子特征与特征语料索引库中的句子特征进行特征匹配，将特征语料索引库中最邻近的句子特征对应的意图标签作为意图识别结果。

2.根据权利要求1所述的一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，所述的预训练语言模型采用中文BERT模型。

3.根据权利要求1所述的一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，所述的正样本对和负样本对的构建方式为：

获取不同领域的N个对话语句样本作为步骤一中的预训练语言模型的输入，得到N个句子特征；将N个句子特征中的随机一个或多个维度置为0，作为添加噪声后的N个句子特征；第i个句子特征与第i个添加噪声后的句子特征构成正样本对，第i个句子特征与第j个添加噪声后的句子特征构成负样本对，j≠i。

4.根据权利要求3所述的一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，所述对比学习的训练目标函数为：

其中，L表示训练损失值，sim(.)表示余弦相似度，τ为温度系数，h_i表示第i个样本的句子特征，表示在第i个样本的句子特征中添加噪音后的特征，表示在第j个样本的句子特征中添加噪音后的特征，构成正样本对，构成负样本对。

5.根据权利要求1所述的一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，所述的特征转换模块采用LDA模型。

6.根据权利要求5所述的一种基于特征匹配和领域自适应的对话意图识别方法，其特征在于，所述的LDA模型的计算方法为：

将意图语料库中属于同一领域的p个对话语句利用步骤二训练好的句子特征表示模型提取句子特征，将句子特征和目标意图标签{(x¹,y¹),(x²,y²),…,(x^p,y^p)}作为该领域下的LDA模型的输入；

对每一个维度为K的句子特征xⁱ进行投影变换：

其中，表示投影变换后的第i个句子特征，维度为L，L＜K；W为K×L的投影矩阵；训练时，保证投影空间中属于同一意图的句子特征靠近，而属于不同意图的句子特征远离。

7.一种基于权利要求1所述的基于特征匹配和领域自适应的对话意图识别方法的系统，其特征在于，包括：

预训练语言模块，其用于将语言模型在客服领域的语料库中进行预训练；

句子特征表示模块，其用于构建正样本对和负样本对，利用对比学习的方式微调预训练后的语言模型参数，实现语言模型的二次训练，生成询问语句的句子特征；特征转换模块，其用于将句子特征表示模块生成的句子特征转换成对应领域下的句子特征；

语料索引库模块，其由对话语句的对应领域下的句子特征和目标意图标签组成，所述的对应领域下的句子特征是将已有的对话语句依次通过句子特征表示模块和特征转换模块提取得到的；

意图识别模块，其用于从语料索引库模块中检索与待识别询问语句的对应领域下的句子特征最匹配的句子特征，将检索结果对应的目标意图标签作为识别结果。