[发明专利]一种基于机器阅读到序列模型的迁移学习方法

权利要求书

1.一种基于机器阅读到序列模型的迁移学习方法，其特征在于，包括以下步骤：

（1）预训练一个机器阅读模型，所述机器阅读模型包含基于循环神经网络的编码层和模型层；

（2）建立一个序列模型，所述序列模型包含基于循环神经网络的编码器、解码器和注意力机制；

（3）提取训练好的机器阅读模型中编码层和模型层的参数，迁移到待训练的序列模型中，作为训练序列模型时的部分初始化参数；

（4）训练序列模型，具体步骤为：

（4-1）将输入的词序列同时送入序列模型的编码器和迁移来的机器阅读模型的编码层中，得到编码后的合并向量；

（4-2）将合并向量送入一个单向长短时记忆进行整合，得到对输入文本序列整合后的编码向量；

（4-3）将整合后的编码向量作为解码器的初始化向量，并将解码器的隐藏单元和整合向量的单元进行注意力交互，得到注意力向量 ， 其中t是解码的第t个单词；

（4-4）将注意力向量输入到迁移来的机器阅读模型层中，然后将模型层的输出向量与注意力向量用线性函数整合并送入softmax函数中得到预测序列的概率分布；

（4-5）重复上述步骤，直到模型收敛；

（5）使用训练好的序列模型进行文本序列预测任务。

2.根据权利要求1所述的基于机器阅读到序列模型的迁移学习方法，其特征在于，步骤（1）中，所述的编码层中的循环神经网络为双向长短时记忆网络，所述的模型层中的循环神经网络为单向长短时记忆网络。

3.根据权利要求2所述的基于机器阅读到序列模型的迁移学习方法，其特征在于，步骤（1）中，预训练的具体步骤为：

（1-1）选择训练数据，使用词向量Glove对输入文本做词嵌入，之后送入编码层的双向长短时记忆网络中；

（1-2）将每个隐藏单元并排连接在一起组成该方向整个句子的表达，并将两个方向的句子表达合并作为输入序列的最终表达；

（1-3）将文章序列的最终表达和问题序列的最终表达结合送入到模型的注意力机制中，输出注意力矩阵；

（1-4）将注意力矩阵输入到模型层的单向长短时记忆网络中，使用该网络的隐藏单元进行规则化，输出预测的概率分布；

（1-5）重复上述步骤，直到机器阅读模型收敛。

4.根据权利要求1所述的基于机器阅读到序列模型的迁移学习方法，其特征在于，步骤（2）中，所述的编码器中的循环神经网络为双向长短时记忆网络。

5.根据权利要求1所述的基于机器阅读到序列模型的迁移学习方法，其特征在于，步骤（4-4）中，所述的softmax函数的公式为：

其中，、和都是待训练的参数，是解码器输出的第t个单词。