[发明专利]一种基于小样本的迭代式增量对话意图类别识别方法

权利要求书

1.一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，该识别方法包括以下步骤：

步骤1：针对对话意图中的文本句子进行分词并训练得到词向量；

步骤2：针对一部分词向量先后利用LSTM网络和CNN网络特征提取后得到句子向量，将句子向量通过分类单元以训练初步分类模型，将另一部分词向量输入至训练完毕的初步分类模型，得到初步的分类结果；

步骤3：针对初步的分类结果，根据强化学习模型的回报进行筛选后通过XGBoost模型进行二次分类，并采用梯度下降的方法训练再次分类模型；

步骤4：利用整个分类模型训练过程中的分类错误样本重新输入训练一个新的初步分类模型，返回步骤3，针对新的初步分类模型以及所述再次分类模型进行迭代增量学习，原有的初步分类模型不变；

步骤5：在更新迭代增量学习过程中当初步分类模型的数量增长到预设阈值时，利用训练完毕的判别器模型，基于原有的初步分类模型进行相似度计算，并去除相似度最高的两个原有的初步分类模型其中之一以维持整体模型计算稳定性；

步骤6：循环执行步骤3至步骤5，逐步完善分类结果并得到最终对应识别类型结果。

2.根据权利要求1所述的一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，所述步骤2中的初步的分类结果中每一个类别的输出概率为：

式中，P(X_i|D_k)表示每一个类别的输出概率，X_i表示实际分类结果，X_i'表示预测分类结果，X表示所有分类结果。

3.根据权利要求1所述的一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，所述步骤2中的初步的分类结果中的损失函数为：

式中，y₁表示初步分类模型输出结果中的损失函数，η₁为调节参数，P表示真实意图类别标签概率，P'表示预测类别标签概率。

4.根据权利要求1所述的一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，所述的步骤3中的回报的计算公式为：

式中，R表示回报，r_i表示当次回报，n和i均为自然数，ξ取0.95。

5.根据权利要求1所述的一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，所述的步骤2中的分类单元为全连接神经网络，所述的步骤2中的初步分类模型包括相互依次连接的句子向量提取层、对话向量提取层和分类层，所述步骤3中的再次分类模型包括相互连接的强化学习-模型筛选模块和决策树-分类模块，所述步骤5中的判别器模型为全连接神经网络。

6.根据权利要求1所述的一种基于小样本的迭代式增量对话意图类别识别方法，其特征在于，所述的步骤3中的针对初步的分类结果，根据回报进行筛选的过程对应损失函数为：

y₃＝p(A_i|F4_i)*log(p'(A_i|F4_i))

式中，y₃表示针对初步分类模型输出结果根据回报进行筛选的过程对应损失函数，p(A_i|F4_i)表示针对初步分类模型输出结果根据回报进行筛选的过程对应损失函数中下一个动作的概率，p'(A_i|F4_i)表示针对初步分类模型输出结果根据回报进行筛选的过程对应损失函数中真实动作的概率。