[发明专利]问答模型的训练方法、问答方法及装置、设备和存储介质

说明书

本公开提供了一种问答模型的训练方法、问答方法及装置、电子设备和计算机可读存储介质，可以应用于自然语言处理技术领域和金融领域。该问答模型的训练方法包括：获取初始训练样本数据集，其中，初始训练样本数据集包括多组初始训练样本数据，每组初始训练样本数据包括初始问题文本和初始答案文本；对初始训练样本数据集进行预处理，得到训练样本数据集，其中，训练样本数据集包括多组训练样本数据，每组训练样本数据包括问题文本序列数据和答案文本序列数据；利用问题文本序列数据和答案文本序列数据训练问答模型，得到经训练的问答模型。

技术领域

本公开涉及自然语言处理技术领域和金融领域，更具体地，涉及一种问答模型的训练方法、问答方法及装置、电子设备、计算机可读存储介质和一种计算机程序产品。

背景技术

随着人工智能的发展，自然语言处理领域的问答技术能够为用户提供准确且个性化的信息服务。问答技术包括检索式和生成式，其中，检索式问答技术的获取方式较为单一、效率较差、依赖于知识库；而生成式问答技术能够快速准确地提供答案。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：生成式问答技术的特征提取方法随着网络深度的增加，训练精度在达到饱和后会迅速下降；同时短文本词汇量较小、噪声较大、特征较为稀疏，并且文本特征的提取方式较为单一。

发明内容

有鉴于此，本公开提供了一种问答模型的训练方法、问答方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的第一个方面，提供了一种问答模型的训练方法，包括：

获取初始训练样本数据集，其中，上述初始训练样本数据集包括多组初始训练样本数据，每组上述初始训练样本数据包括初始问题文本和初始答案文本；

对上述初始训练样本数据集进行预处理，得到训练样本数据集，其中，上述训练样本数据集包括多组训练样本数据，每组上述训练样本数据包括问题文本序列数据和答案文本序列数据；以及

利用上述问题文本序列数据和上述答案文本序列数据训练问答模型，得到经训练的问答模型。

根据本公开的实施例，上述对上述初始训练样本数据集进行预处理，得到训练样本数据集包括：

对上述初始问题文本和上述初始答案文本进行去噪处理，得到去噪问题文本和去噪答案文本；

对上述去噪问题文本和上述去噪答案文本进行分词处理，得到分词问题文本和分词答案文本；

对上述分词问题文本和上述分词答案文本进行关键词提取，得到问题关键词文本和答案关键词文本；以及

对上述问题关键词文本和上述答案关键词文本进行词嵌入处理，得到上述问题文本序列数据和上述答案文本序列数据。

根据本公开的实施例，上述问答模型包括编码器和解码器；

上述利用上述问题文本序列数据和上述答案文本序列数据训练问答模型，得到经训练的问答模型包括：

利用上述编码器对上述问题文本序列数据进行处理，得到目标特征向量；

利用上述解码器对上述目标特征向量进行处理，得到预测答案文本序列数据；以及

利用上述预测答案文本序列数据和上述答案文本序列数据训练上述问答模型，得到经训练的问答模型。

根据本公开的实施例，上述编码器包括双向门控循环单元层，上述双向门控循环单元层包括多个基于恒等映射的双向门控循环单元；

上述解码器包括注意力层和单向门控循环单元层，上述单向门控循环单元层包括多个基于恒等映射的单向门控循环单元。