[发明专利]基于多任务学习的篇章级文本连贯性分类方法

说明书

本发明提出基于多任务学习的篇章级文本连贯性分类方法，所述方法包括：步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。通过上述方法解决了现有技术中的问题，所述方法对信息检索以及自然语言处理中的多任务学习、作文自动评分、文档向量化等方向有着重要作用。

技术领域

本发明属于自然语言处理领域技术领域，特别是涉及基于多任务学习的篇章级文本连贯性分类方法。

背景技术

篇章连贯性建模是自然语言处理中的一个基础问题，它在多语言即时机器翻译、文本自动摘要等方面均有广泛的应用前景。篇章语义连贯性是衡量篇章中句子间语义是否通顺和形式是否衔接的一个重要因素。语篇连贯性反映了语篇局部与整体的建构关系。尤其在较长片段文本中，其中句子之间的形式是否衔接，句子结构是否合理，以及句子的主旨和所表达的语义是否一致是决定了该文本是否具有可读性、是否可以被正确理解。

目前国内外对于篇章级文本连贯性的研究，主要包括传统机器学习方法和神经网络方法。传统机器学习方法包括基于实体的网络模型、基于实体转移的连贯性判别模型以及基于潜在语义的篇章级文本连贯性模型等。神经网络方法包括使用循环神经网络、卷积神经网络等对人工提取的文章特征进行建模，例如文本长度、经过序列标注产生的实体转移、文本主题等。

对于篇章级文本连贯性分类，目前存在着以下问题：首先虽然预训练模型在文本向量化已经取得了不错的效果，但篇章级文本长度过长，大部分预训练模型无法很好学到其语义信息；其次，篇章级文本句子主题转变较大，很难识别篇章级文本的主题；最后，影响文本连贯性的特征较多，如实体词、过渡词和句子顺序等，单一特征提取器很难将特征提取完全。

发明内容

本发明目的是解决现有技术中的问题，提出了基于多任务学习的篇章级文本连贯性分类方法。

本发明是通过以下技术方案实现的，本发明提出基于多任务学习的篇章级文本连贯性分类方法，具体包括以下步骤：

步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；

步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；

步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；

步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。

进一步地，所述步骤1具体为：

将篇章级文本按照句子粒度进行划分，得到单个句子，记为{s₁,s₂,…,s_n}，n表示句子个数，将每个句子依次通过分词、词的id化和生成位置编码步骤，输入到XLNet预训练模型中，取XLNet模型最后一层的输出作为句子中每个词的向量化表示，即句s_i的输出为{w₁,w₂,…,w_m}，i＝1,2,…,n；其中，w_j为句s_i中第j个位置词的向量表示，m表示第i个句子里面词的个数；j＝1,2，…，m；为了得到句向量表示，将句中词向量进行平均池化，即

其中，v_i为句s_i的向量表示；由此，即可得到篇章中每个句子的向量表示，为{v₁,v₂,…,v_n}。