[发明专利]一种文档分类方法及电子设备

权利要求书

1.一种文档分类方法，其特征在于，包括：

将文档按照文档的段落组织结构切分成多个相互独立的段落单元；

对每个所述段落单元以句子为单位进行切分得到句子单元并保持所述句子单元之间的相对位置不变；

针对每个独立的段落单元，将每个所述句子单元以词为单位进行切分，得到词块列表；

将所述词块列表进行编码得到每个词的高维词向量；

将所述高维词向量依次送入自注意力模块，将得到的自注意力输出进行平均作为句子向量；

将所述句子向量依次送入自注意力模块，将得到的自注意力输出进行平均作为段落向量，直到得到所述文档中所有段落的段落向量；

将所述段落向量依次送入自注意力模块，将得到的自注意力输出进行平均作为文档向量；

将所述文档向量送入分类器，得到该文档的分类概率分布。

2.如权利要求1所述的方法，其特征在于，将文档按照文档的段落组织结构切分成多个相互独立的段落单元，包括：

将所述文档按照换行符或空行进行分割，得到一个包含多个段落的自然语言文本列表。

3.如权利要求1所述方法，其特征在于，对每个所述段落单元以句子为单位进行切分得到句子单元并保持所述句子单元之间的相对位置不变，包括：

使用句子切分器将每个段落按照句末符号切分成多个独立的句子，得到一个包含多个句子的自然语言文本列表。

4.如权利要求1所述方法，其特征在于，将每个所述句子单元以词为单位进行切分，得到词块列表，包括：

使用分词器对句子进行切分，得到一个包含多个词语的词块列表。

5.如权利要求1所述方法，其特征在于，将所述词块列表进行编码得到每个词的高维词向量，包括：

将所述词块列表通过一个与预训练语言模型相对应的分词器，得到所述词块列表中的各个词块在词典中的标号信息；

将各个词块在词典中的标号信息依次通过词编码层得到词向量矩阵其中，N表示词向量矩阵的词块数，d_embed表示词向量的维度。

6.如权利要求5所述方法，其特征在于，将所述高维词向量依次送入自注意力模块，将得到的自注意力输出进行平均作为句子向量，包括：

将所述词向量矩阵I输入自注意力模块，其中，自注意力模块的计算过程为：

其中，为输入的词向量矩阵，和为可学习参数，用于将输入词向量映射到一个高维空间，在所述高维空间，通过查询向量矩阵Q和键向量矩阵K来得到注意力分数矩阵，通过所述分数矩阵，按照所述分数矩阵与值向量矩阵进行矩阵乘法，得到自注意力输出；

得到自注意力输出后，通过将自注意力输出矩阵按列进行平均得到所述句子向量矩阵

7.如权利要求6所述方法，其特征在于，将所述句子向量依次送入自注意力模块，将得到的自注意力输出进行平均作为段落向量，包括：

将所述句子向量矩阵S输入自注意力模块，其中，自注意力模块的计算过程为：

得到自注意力输出以后，通过将自注意力输出矩阵按列进行平均得到段落向量

8.如权利要求7所述方法，其特征在于，将所述段落向量依次送入自注意力模块，将得到的自注意力输出进行平均作为文档向量，包括：

将所述段落向量矩阵G输入自注意力模块，其中，自注意力模块的计算过程为：其中，为输入的词向量矩阵，和为可学习参数；

得到所述自注意力输出以后，通过将自注意力输出矩阵按列进行平均得到所述文档向量

9.如权利要求8所述方法，其特征在于，将所述文档向量送入分类器，得到该文档的分类概率分布，包括：

将所述文档向量表示输入所述分类器，得到分类概率分布：所述文档类别为：

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-9中任一项所述方法的步骤。