[发明专利]一种端到端的任务型对话系统的领域适应方法

说明书

本发明公开了一种端到端的任务型对话系统的领域适应方法，其特点是该方法包括以下步骤：使用编码‑解码模型构建端到端任务型对话系统，结合注意力机制和复制机制学习如何根据对话上下文信息生成回复；利用小样本学习方法，使对话系统在源领域训练获得具有泛化性的先验知识；结合目标领域有限的语料，并强化目标领域的特征，实现领域适应。本发明与现有技术相比具有方法简便，不需要耗费人工成本进行标注，工作效率高，能够在一定程度上解决基于神经网络的端到端对话系统对某一领域大量带标签数据的依赖，同时保证对话系统完成任务的成功率，进一步拓宽了对话系统的应用场景。

技术领域

本发明涉及任务型对话系统技术领域，尤其是一种利用对话模型在源领域语料中训练得到的先验知识，结合小样本学习模型和算法端到端的任务型对话系统的领域适应方法。

背景技术

随着现代信息技术的发展，人机交互式对话系统在生活有了越来越多的应用，诸如Siri、Cortana和Alexa等语音助手已经在我们生活中普及。而面向任务的对话系统的需求也日益增长，比如智能客服，智能个人助理等，可以用于预定机票、查找餐厅和制定行程等服务。现有的一些智能客服，已经在电商平台、手机银行等诸多领域得到了良好的应用，其有效地节省了人力成本。但是，目前这类智能客服在智能程度上与人类相比还存在较大差距，通常只能解决一些固定化的模板问题，且不能与用户进行良好的交互，还远远不能取代人工客服。另一方面，频繁的用户客服交互产生了大量的数据，在这些数据中包含着丰富的有价值的信息，而这些交互数据为构建任务型对话系统提供了可能性。

传统的任务型的对话系统通常需要大量的手工工作，因此很难将系统扩展到新的应用领域。近来，开发面向任务的对话系统的一种流行方法将该问题视为部分可观察的马尔可夫决策过程，并通过与用户交互，使用强化学习进行对话策略优化，但是对话状态和行动空间必须精心设计，以使得基于强化学习的策略学习易于处理。

基于神经网络的方法在建立聊天型对话系统中的卓越表现，因此也有学者提出了基于神经网络方法来构建端到端的任务型的对话系统。端到端的对话模型放弃使用分模块解决问题的思路，整个对话系统只使用一个编码-解码模型，其中编码器将对话的上下文信息，编码成一个隐向量，用于表示该对话的当前状态，然后解码器对该对话状态进行解码，进而生成对话系统的回复。端到端的模型可以避免系统中多个组件单独进行训练，而单独训练会导致其优化目标可能不完全符合整个系统的评价标准，而且，上游组件产生的错误会传播到下游组件并被放大。

现有技术的端到端对话系统来解决现实场景中的问题依旧存在一些挑战，其中重要的一点就是基于神经网络的对话系统需要充足的带标注训练语料。目前的一些工作构建的任务型对话系统通常只能在单个或者几个相近的领域适用，并且需要大量的领域带标注语料来训练对话系统，这样的方法需要耗费人工成本进行标注，效率不高，并且依赖于大量的领域对话语料。这使得对话系统在一些缺乏对话语料的领域的应用受到了限制。

发明内容

本发明的目的是针对现有技术的不足而设计的一种端到端的任务型对话系统的领域适应方法，采用迁移学习的方法，通过训练基于编码-解码模型的任务型对话系统，然后利用小样本学习的模型和算法实现领域适应，使源领域训练的对话系统适应于语料缺乏的目标领域，利用数量充足的源领域训练语料尽可能使模型学习到先验知识，以及目标领域受限的语料使得模型尽可能在目标领域得到良好的适应，方法简便，不需要耗费人工成本进行标注，工作效率高，能够在一定程度上解决基于神经网络的端到端对话系统对某一领域大量带标签数据的依赖，同时保证对话系统完成任务的成功率，进一步拓宽了对话系统的应用场景。

本发明的具体技术方案是：一种端到端的任务型对话系统的领域适应方法，其特点是利用在源领域基于对话语料训练得到一个任务型对话模型，并将对话模型进行领域迁移，使模型能够适应目标领域，其具体方法包括以下步骤：

步骤1：在源领域训练任务型对话模型，使用编码-解码模型学习如何利用对话上下文信息生成回复；