[发明专利]一种基于CNNFeed网络模型的文本分类方法

说明书

本发明涉及自然语言处理技术领域，具体为一种基于CNNFeed网络模型的文本分类方法。应用在办公文件多标签分类任务，本专利采用same卷积CNN模块和前馈神经网络单元作为一个单元，设计成可以根据任务复杂度进行模型可伸缩的结构。而TextCNN本身并非可可伸缩的结构，在任务复杂时，TextCNN拟合数据能力将会下降。相比于Bert、Longformer等Transformer系列模型，因为采用自注意力机制，这要比CNN这种线性操作效率低。同时本专利提出的CNNFeed神经网络引入Transformer中前馈神经网络部分，前馈神经网络部分可以提高本专利拟合大规模数据的能力。

技术领域

本发明涉及自然语言处理技术领域，具体为一种基于CNNFeed网络模型的文本分类方法。

背景技术

文本分类在医疗疾病诊断、法律案件描述分类、网民留言事件分类等场景中应用广泛。基于深度学习的文本分类已经逐渐成为业界的主流，目前基于深度学习的文本分类技术已经日益成熟。当前基于Transformer的变体模型在文本分类任务中尤其表现出色。但是，Transformer采用全局交互自注意力感知结构对于长序列，时间和空间复杂性很高，训练和部署这些模型的成本可能高得令人望而却步，虽然业界针对Transformer的效率提出了Longformer、Transformer-XL等相关改进模型，却无法从根本上大幅提升Transformer计算效率。在Transformer之前，CNN，RNN在文本分类任务中扮演着重要角色，然而RNN的循环迭代单元导致文本长度长时训练成本加大；而CNN对于文本分类最成功的应用之一是TextCNN，CNN本身属于线性操作，本身具有很高计算效率，也可以并行，但是TextCNN相对于Transformer并非是可以伸缩的层状结构，导致当文本分类任务数据量大，任务复杂时，需要重新改进设计模型。本专利通过将成熟CNN卷积网络进行巧妙设计，提出了一种和Transformer一样的层状文本分类架构，可以针对用户的数据量任务复杂度，只需简单调整一下网络层数即可。Transformer前馈层神经网络相当于提升了模型拟合数据能力。本专利将CNN单元模块和Transformer中前馈神经网络模型组成一个单元模块，也即一层。本发明针对提出的网络模型架构设计了一种基于办公文件名称的文本多标签分类技术方案。

发明内容

为实现上述技术效果，本发明一种基于办公文件名称的文本分类技术方案，包括有如下步骤：

1.一种基于CNNFeed网络模型的文本分类方法，包括有如下步骤：

S1.构造训练数据集：办公文件名称进行数据标注， 使用sep为文件名称和文件标签的分隔符，如果一个文件名称有多个标签，标签之间用”|”作为分隔符；

S2.构造字符到字符ID的映射：针对开源BERT模型的词表进行整理，保留特殊字符二个，分别为：补全字符 [PAD]，未在词表中出现字符[UNK]，将BERT词表中所有长度超过1的词表全部删除，针对办公文件的数据统计其中的字符和上述由BERT获取的字符进行合并去重，然后根据这些字符建立词典Dict_token，Dict_token的前项key为字符索引编号，Dict_token的后项value为具体的单个字符，即Dict_token={0:”[PAD]”,1:”[UNK]“，.......}，其中[PAD]代表当文本长度不够最大长度时，采用[PAD]填充到max_len长度，[UNK]为不在词典中的异常符；

S3.构造文件标签到文件标签ID的映射：建立词典Dict_label，Dict_label的前项key为文件标签名称索引编号，Dict_label的后项value为具体的文件标签名称；