[发明专利]基于改进Transformer模型的超长序列处理方法

权利要求书

1.一种基于改进Transformer模型的超长序列处理方法，其特征在于：该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：

S1.WSformer模型的预训练：

S1.1采用序列分割方法将超长序列分割成小序列；

S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；

S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。

2.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1.1中，以句子为单位将段落分割成多个序列，用矩阵来表示，行数为段落中所有句子所含词汇个数的最大值，列数为该段落中含有的句子个数。

3.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1.2中，在词级特征提取中，计算每个切分后的小序列里词汇之间的自注意力权值，然后进行汇总；在句级特征提取中，计算每个小序列之间的注意力权值，汇总后得到整个文本序列的编码。

4.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1中，WSformer模型的预训练的具体过程如下：

步骤a.按照一定规则将一个超长序列P进行切分，得到多个相对独立的小序列：

P＝{p₁，p₂，...，p_n}

其中，n表示切分出的小序列的个数，p_i(i＝1..n)表示第i个小序列；

步骤b.进入词级注意力层，采用自注意力机制计算每个小序列中所有词汇的注意力权值：

W_w＝att(X_w)

其中，表示词嵌入向量，B表示批训练的批次大小，S表示一个超长序列分割产生的最大小序列个数，超长序列为段落，小序列为句子；W表示小序列中最大的词语个数，E_W表示词嵌入向量的维度；att()表示注意力函数，W_w∈R^B×S×W表示得到的词注意力权重矩阵；

步骤c.利用词级自编码器得到句子的嵌入编码，如下所示：

X_s＝Encode(X_w，W_w)

其中，表示词级自编码器的输出向量，H_W表示词级自编码器中隐藏层的维度；

步骤d.词级自编码器的输出经过维度转化之后，进入句级注意力层，继续采用自注意力机制计算每个小序列对于超长序列建模的注意力权值：

W_s＝att(Reshape(X_s))

其中，Reshape()表示维度转化函数，W_s∈R^B×S×s_E表示得到的句子注意力权重矩阵，s_E表示维度转换之后得到的句子嵌入向量的维度；

步骤e.经过句级自编码器和维度转化之后，得到超长序列的嵌入编码：

X_LS＝Encode(X_w,W_w)

其中表示句级自编码器的输出向量，H_S表示句级自编码器中隐藏层的维度；

步骤f.将句级自编码器的输出向量进行维度转换，得到段落嵌入编码，即WSformer的输出向量：

Y＝Reshape(X_LS)

其中，Y∈R^B×ls_E表示得到的段落嵌入向量，ls_E表示段落向量的维度。

5.如权利要求4所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤a中，当对中文序列进行建模时，默认句号作为分隔符，对长文本序列以句为单位进行分隔。

6.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S2中，对位置向量的编码的具体方法为：在进行两个词汇位置向量的点积时，首先将其中一个位置向量的奇数列和偶数列互换，然后将两个位置向量的偶数列都乘以-1，得到词汇a和b位置向量的编码如下：

其中，d表示位置向量的维度，即分割后的句子包含的词汇个数；

令则基于改进的位置编码，计算两个词汇位置向量的点积如下：

同时交换词汇对的位置之后，S_b和S_a的变化如下：

令计算两个词汇位置向量的点积如下：

由sin函数的性质可知，