[发明专利]训练方法、应答方法、装置、电子设备以及存储介质

说明书

本公开公开了一种训练方法、应答方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及自然语言处理领域。具体实现方案为：基于环状路径，构建问题文本，其中，问题文本包括推理性内容，环状路径包括至少三个三元组；利用问题文本对预训练语言模型进行训练，得到推理模型。

技术领域

本公开涉及人工智能技术领域，尤其涉及自然语言处理领域。具体地，涉及一种训练方法、应答方法、装置、电子设备以及存储介质。

背景技术

随着自然语言处理(Natural Language Processing，NLP)的发展，其任务的划分也更加细致，例如，自然语言处理任务可以包括知识推理、词性标注、文本分类、情感分析、机器翻译和共指消解等。基于预训练模型的预训练技术的发展对上述任务起到了至关重要的作用。预训练模型的核心思想是先在大数据集上对深层次的神经网络模型进行预训练得到模型参数，然后将训练完成的模型应用到各种自然语言处理任务以避免从头开始训练并减少对标注数据的需要。

随着自然语言处理领域研究的不断深入，利用大规模无标注语料进行预训练得到的预训练语言模型也被证明能够有助于自然语言处理任务。

发明内容

本公开提供了一种训练方法、应答方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种推理模型的训练方法，包括：基于环状路径，构建问题文本，其中，上述问题文本包括推理性内容，上述环状路径包括至少三个三元组；以及，利用上述问题文本对预训练语言模型进行训练，得到上述推理模型。

根据本公开的另一方面，提供了一种应答方法，包括：获取目标问题文本；以及，将上述目标问题文本输入推理模型，得到针对上述目标问题文本的答案，其中，上述推理模型是利用根据如上上述的方法训练的。

根据本公开的另一方面，提供了一种推理模型的训练装置，包括：构建模块，用于基于环状路径，构建问题文本，其中，上述问题文本包括推理性内容，上述环状路径包括至少三个三元组；以及，训练模块，用于利用上述问题文本对预训练语言模型进行训练，得到上述推理模型。

根据本公开的另一方面，提供了一种应答装置，包括：第二获取模块，用于获取目标问题文本；以及，获得模块，用于将上述目标问题文本输入推理模型，得到针对上述目标问题文本的答案，其中，上述推理模型是利用根据如上上述的装置训练的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用推理模型的训练方法、应答方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的推理模型的训练方法的流程图；

图3示意性示出了根据本公开实施例的基于环状路径，构建问题文本的流程图；

图4示意性示出了根据本公开实施例的从关系网络中获取环状路径的流程图；