[发明专利]基于深度学习的客服回复推荐方法

权利要求书

1.一种基于深度学习的客服回复推荐方法，包含以下步骤：

(1)对聊天语料库中所有的客服回复进行聚类并构建候选客服回复集合；并在客服聊天语料库上训练词向量；

(3)对客服聊天语料库的对话记录进行标准化处理；

(4)在经标准化处理后的语料集上训练对话模型；

(5)将客服当前的对话记录输入上述对话模型，获取相应的推荐回复；

所述的步骤(4)中对话模型训练的具体步骤如下：

4.1从数据集中随机选取一批样本，每个样本均为多组对话序列可以表示为:{(u₀,h₀,u₁,h₁,…),…}，其中u_i表示对话序列中用户的第i句话，h_i表示对话序列中客服的第i句对话；

4.2为样本中的每个客服对话均从语料库中随机选取一条客服对话作为负样本

4.3对样本中每组对话序列的所有对话：均使用单句编码器进行编码，将各个句子均编码成为定长向量，分别获得各个句子的向量表达：

4.4将每组对话序列表示为向量序列：在此基础上使用上下文编码器对该序列进行编码，其可以获取每条对话出现时已产生的对话记录的编码结果，用户和客服的每条对话都各自对应一个时刻，编码后获得一个向量输出序列，表示对各个时刻对话历史的编码结果：其中k为该组对话序列中所含对话数量；

4.5在客服对话的每个时间刻，均使用对应时间刻i的作为输入，使用如下公式计算局部损失函数值：

其中margin为手工设定的阈值，其中Sim(x，y)为相似度函数，其计算方法如下面公式所示：

4.6将当前批次样本中所有局部损耗进行相加，得到本次更新所需的损失函数值，计算公式如下:

其中：n为当前批次所含样本的数量，m_i为第i个样本中所含的客服回复数量，loss_i,为第i个样本中第j句客服回复对应时刻的局部损失值；

4.7使用梯度下降对对话模型中的所有参数进行更新；

4.8如果迭代次数达到阈值，则保存模型，结束迭代,否则返回步骤4.1。

2.根据权利要求1所述的客服回复推荐方法，其特征在于：所述的步骤(1)具体包括如下步骤：

1.1使用中文分词器对语料中所有的客服回复进行处理，获取其分词结果；

1.2使用LDA主题模型对分词后的对话进行主题建模，并获取其向量表示；

1.3使用k-means聚类算法对客服回复在向量空间上进行聚类；

1.4在每个类簇中均随机选取等量的回复，对其进行去重操作后构成候选回复集。

3.根据权利要求1所述的客服回复推荐方法，其特征在于：所述的步骤(3)中对话记录的标准化处理的具体步骤如下：

3.1删除对话记录中所有的格式控制符号及非人工产生的对话；

3.2将对话按照产生对话的角色分为：用户的对话和客服的对话两种，在此基础上将每次服务的多条对话记录处理为：{user，host，user，host，…}的次序，即每组对话均以用户的对话开始，用户和客服的对话严格交替出现，其中user代表用户，host代表客服。

4.根据权利要求1所述的客服回复推荐方法，其特征在于：所述的步骤4.3中采用单句编码器对单个句子进行编码的具体步骤如下：

5.1根据产生句子的角色不同，为每个句子分配一个角色标志，对于用户产生的句子,设定其角色标记为0，对于客服产生的句子或候选回复，设定其角色标记为1，使用符号r来表示角色标记；

5.2通过查找在步骤(2)中训练的词向量矩阵，将句子中的每个词均替换为与其对应的词向量表示形式，表示为

5.3并将角色标记同句子中的每个词向量分别进行级联，其过程可表示为：v^w′＝[v^w；r]；

5.4使用一个两层GRU网络读入处理后的词向量序列，并获取最后时刻的输出作为单句编码器的编码结果。