[发明专利]一种基于机器阅读到序列模型的迁移学习方法

说明书

本发明公开了一种基于机器阅读到序列模型的迁移学习方法，包括以下步骤：(1)预训练一个机器阅读模型，所述机器阅读模型包含基于循环神经网络的编码层和模型层；(2)建立一个序列模型，所述序列模型包含基于循环神经网络的编码器和解码器；(3)提取训练好的机器阅读模型中编码层和模型层的参数，迁移到待训练的序列模型中，作为训练序列模型时的部分初始化参数；(4)训练序列模型，直到模型收敛；(5)使用训练好的序列模型进行文本序列预测任务。利用本发明，能够更加深入地挖掘文本蕴含信息，提升生成文本序列的质量。

技术领域

本发明属于自然语言处理技术领域，尤其是涉及一种基于机器阅读到序列模型的迁移学习方法。

背景技术

机器阅读是自然语言处理中最为热门和棘手的问题之一，它要求模型理解自然语言并能够运用现存的知识。目前最热门的任务一般会给定一篇文章和一个问题，我们需要根据问题从文章中寻找答案。随着近年来几个高质量数据集的发布，以神经网络为基础的模型在机器阅读上的表现越来越好，甚至在一些数据集上超过了人类。一个高效的机器阅读模型可以在以语义理解为基础的众多领域得到广泛应用，如对话机器人，问答系统和搜索引擎等。

附带注意力机制的序列模型主要由一个编码器和一个解码器组成，在编码器将输入的序列编码后由解码器依次输出并生成序列。这样的结构在自然语言生成任务如机器翻译，文本摘要和对话系统中取得了巨大的成功。然而，在训练这样的编码器-解码器时，我们只是通过将输出的结果对比固定的参考样本来进行优化，很难深入理解文本中蕴含的潜在语义信息。

迁移学习，指将多种领域的知识或特征结合来建立新的模型和概率分布。在自然语言处理领域，迁移学习得到了广泛的应用。比如2011年发表在国际顶级机器学习理论期刊Journal of Machine Learning Research上的《Natural Language Processing(almost)from Scratch》公布了一种统一的神经网络结构并能够将无监督学习运用到众多自然语言处理任务如词性标注，实体命名识别中；2017年发表在国际顶级计算神经理论会议Annual Conference on Neural Information Processing Systems上的《Learned inTranslation:Contextualized Word Vectors》公布了一种将机器翻译的编码器预训练后迁移到文本分类任务和问答系统中，作为一种新的词向量来提升原有词向量的丰富度；2018年发表在国际顶级自然语言处理会议Proceedings of the 56th Annual Meeting ofthe Association for Computational Linguistics上的《Discourse Marker AugmentedNetwork with Reinforcement Learning for Natural Language Inference》公布了一种基于连词的训练方法,首先在连词预测任务中训练一个编码器，然后将这个编码器嵌入一个自然语言推理模型中来提高模型的逻辑能力。

然而，现有的自然语言处理迁移学习方法很少有将多层神经网络转移到其他任务上，仅仅将编码层迁移会损失大量原有预训练模型的信息。

发明内容

本发明提供了一种基于机器阅读到序列模型的迁移学习方法，能够更加深入地挖掘文本蕴含信息，提升生成文本序列的质量。

本发明采用的技术方案如下：

一种基于机器阅读到序列模型的迁移学习方法，包括以下步骤：

(1)预训练一个机器阅读模型，所述机器阅读模型包含基于循环神经网络的编码层和模型层；

(2)建立一个序列模型，所述序列模型包含基于循环神经网络的编码器、解码器和注意力机制；

(3)提取训练好的机器阅读模型中编码层和模型层的参数，迁移到待训练的序列模型中，作为训练序列模型的部分初始化参数；