[发明专利]基于改进Transformer模型的超长序列处理方法

说明书

本发明提出了一种基于改进Transformer模型的超长序列处理方法，该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：S1.WSformer模型的预训练：S1.1采用序列分割方法将超长序列分割成小序列；S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。该方法能够有效地降低长文本序列编码的时间成本，更加精确地刻画词与词之间的位置关系，实现了对长序列文本的有效建模，提高了预测精度和计算效率。

【技术领域】

本发明涉及自然语言处理的技术领域，特别是一种基于改进Transformer模型的超长序列处理方法。

【背景技术】

在自然语言处理领域，循环神经网络和卷积神经网络一直是序列建模的主流方法。2014年，Google提出seq2seq模型(Sutskever I,Vinyals O,Le Q V.Sequence tosequence learning with neural networks[J].Advances in neural informationprocessing systems,2014,27.)，简单的说就是一种序列到另一种序列的转换，在自然语言处理领域的应用主要有翻译，摘要，作诗等。自从seq2seq提出后，关于seq2seq的变体也有很多，但大多都是基于循环神经网络(Recurrent Neural Network，RNN)进行的处理，广泛用于各种序列建模，比如文本、语音等。2017年，Attention is all you need一文中首次提出基于自注意力机制的序列建模方法Transformer。但是对于超长序列的建模，Transformer方法需要计算序列中的每个词对于其它词的注意力权重，其计算成本是非常高的。此外，Transformer方法在捕获长距离词汇间的关系方面有所欠缺。2020年，Longformer(Beltagy I,Peters M E,Cohan A.Longformer:The long-documenttransformer[J].arXiv preprint arXiv:2004.05150,2020.)利用滑窗机制或随机选取部分词汇来降低Transformer中自注意力机制的计算量，进而捕获长距离信息。然而，在面对一个超长序列时，滑窗机制极有可能会破坏近距离词汇之间的信息联系而随机选取部分词汇的方式极有可能忽略重要词汇信息。2022年，Non-Position-Transformer(Haviv A,RamO,Press O,et al.Transformer Language Models without Positional EncodingsStill Learn Positional Information[J].arXivpreprint arXiv:2203.16634,2022.)提出不需要考虑词汇的位置编码也能很好捕获位置信息。然而在面对一个超长序列时，不考虑词汇的位置编码并不能带来效率的提升，同时Transformer本身自带的位置编码也存在一定的缺陷。

在文本语言表达中，一个段落表达的意思往往比一个句子表达的意思更为精准。这是因为人们在阅读的时候会根据一个句子表达的意思去推断周围句子的意思，如此可以使整个段落表达的意思更加精确，同时忽略一些不必要的干扰信息。然而，对于超长序列的处理，传统的transformer模型面临计算量过大、难以获取长距离词汇间的注意力权重、位置向量编码难以区分词与词之间的先后关系等一系列问题，现提出一种基于改进Transformer模型的超长序列处理方法。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于改进Transformer模型的超长序列处理方法，通过对传统的Transformer方法进行改良，构建了新的超长序列处理模型WSformer，能够实现对长序列文本的有效建模，提高预测精度和计算效率。