[发明专利]一种文档分类方法及电子设备

说明书

本公开涉及一种文档分类方法及电子设备，将文档按照一定的规则切分成多个相互独立的段落单元，对每个段落单元以句子为单位进行切分得到句子单元并保持相对位置不变。然后，构建分层分类模型，通过将句子单元以词语为单位进行切分并得到高维词向量表示，使用注意力机制得到句子表示，再利用每一个段落的句子表示得到段落表示。最后，利用段落表示和注意力机制得到文档表示。随后，将文档表示通过一个分类器，并输出该文档的分类概率分布。本公开实施例中的方案，细化了文档表示分层模型的粒度，分别从单词级、句子级、段落级和文档级对文档进行表示，能够明显提升分类模型的性能。

技术领域

本公开涉及自然语言处理领域，具体地，涉及一种文档分类方法及电子设备。

背景技术

在分类任务中，对输入特征的特征表示是所有模型的基础，随着信息和数据的产生和堆积，逐渐要求对不同粒度的输入特征进行适当的表示。最近几年，BERT(英文全称：Bidirectional Encoder Representation from Transformers)等大规模预训练模型在NLP(英文全称：Natural Language Processing；中文名词：自然语言处理)领域大放异彩，在词向量的表示方面，逐渐占有统治地位，其出色的表现，也推动了大规模预训练语言模型的蓬勃发展，然而，对更粗粒度的数据，如段落表示和文档表示等，尚无通用的预训练语言模型出现。

发明内容

本公开的目的是提供一种文档分类方法及电子设备，用于解决现有技术中存在的，目前尚无通用的预训练语言模型对粗粒度的数据，如段落和文档的输入特征进行表示的技术问题。

为了实现上述目的，本公开第一方面提供一种文档分类方法，包括：

将文档按照文档的段落组织结构切分成多个相互独立的段落单元；

对每个所述段落单元以句子为单位进行切分得到句子单元并保持所述句子单元之间的相对位置不变；

针对每个独立的段落单元，将每个所述句子单元以词为单位进行切分，得到词块列表；

将所述词块列表进行编码得到每个词的高维词向量；

将所述高维词向量依次送入自注意力模块，将得到的自注意力输出进行平均作为句子向量；

将所述句子向量依次送入自注意力模块，将得到的自注意力输出进行平均作为段落向量，直到得到所述文档中所有段落的段落向量；

将所述段落向量依次送入自注意力模块，将得到的自注意力输出进行平均作为文档向量；

将所述文档向量送入分类器，得到该文档的分类概率分布。

可选的，将文档按照文档的段落组织结构切分成多个相互独立的段落单元，包括：

将所述文档按照换行符或空行进行分割，得到一个包含多个段落的自然语言文本列表。

可选的，对每个所述段落单元以句子为单位进行切分得到句子单元并保持所述句子单元之间的相对位置不变，包括：

使用句子切分器将每个段落按照句末符号切分成多个独立的句子，得到一个包含多个句子的自然语言文本列表。

可选的，将每个所述句子单元以词为单位进行切分，得到词块列表，包括：

使用分词器对句子进行切分，得到一个包含多个词语的词块列表。

可选的，将所述词块列表进行编码得到每个词的高维词向量，包括：

将所述词块列表通过一个与预训练语言模型相对应的分词器，得到所述词块列表中的各个词块在词典中的标号信息；