[发明专利]基于细粒度局部信息增强的对话结构感知对话方法及系统

权利要求书

1.一种基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，包括以下步骤：

步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D；

步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复；

步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。

2.根据权利要求1所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B具体包括以下步骤：

步骤B1：将训练集D的每个三元组形式的训练样本作为SAFL模型的输入，所述三元组形式的训练样本包括多轮对话上下文、回复、标签；SAFL模型使用预训练语言模型BERT作为基础，利用BERT的多层注意力机制学习到结合语境的上下文语义表示；同时SAFL模型采用多任务学习方式挖掘BERT的语义理解能力，主任务是多轮对话回复选择任务，辅助任务是随机滑动窗口回复预测任务以及对话结构感知任务；

步骤B2：在辅助任务部分，SAFL模型导出预训练语言模型BERT，利用随机滑动窗口回复预测任务以及对话结构感知任务优化预训练语言模型；随机滑动窗口回复预测任务在多轮对话上下文中采样不同位置、大小的窗口数据，使用预训练语言模型编码对话窗口，加强预训练语言模型对于对话局部信息的理解能力；对话结构感知任务根据对话人说话的先后顺序构造图结构，并使用GCN进行编码，促使预训练语言模型学习正确的对话结构所具备的特征，让预训练语言模型从另一个角度理解对话数据；

步骤B3：在主任务，即多轮对话回复选择任务中，SAFL模型采用重点局部信息蒸馏模块从预训练语言模型的输出中提取出细粒度的局部语义信息，通过门控机制对全局信息和局部信息进行进一步的融合筛选，并将筛选得到的融合特征与多粒度局部信息进行融合，输入到分类层中进行多轮对话上下文与回复之间的合理性分数的计算，评估当前回复是否对应给定的多轮对话上下文；最后根据目标损失函数，利用反向传播方法计算深度学习网络模型SAFL中的各参数的梯度，并利用随机梯度下降方法更新参数；

步骤B4：当深度学习网络模型SAFL产生的损失值迭代变化小于设定阈值或达到最大迭代次数，终止深度学习网络模型SAFL的训练。

3.根据权利要求2所述的基于细粒度局部信息增强的对话结构感知对话方法，其特征在于，所述步骤B1具体包括以下步骤：

步骤B11：将u代表上下文中的话语，r代表回复，m代表着话语的个数，将SAFL的输入拼接成如下长序列形式：

x＝{[CLS]，u₁，[EOT]，u₂，[EOT]，...，[EOT]，u_m，[SEP]，r，[SEP]}

其中，x为拼接得到的长文本；[CLS]和[SEP]为分隔符，[EOT]为SAFL用于学习局部信息的特殊标记；

步骤B12：通过预训练语言模型BERT的词典与模型的嵌入层，将x分别映射为词嵌入表示、位置嵌入表示与段落嵌入表示；

步骤B13：将每个词的词嵌入表示、位置嵌入表示与段落嵌入表示相加，得到融合后的嵌入表示，并使用BERT的多层Transformer网络进行编码，从而获取到序列的高层语义特征表示E。