[发明专利]文本分类方法、装置、计算机设备和存储介质

说明书

本发明涉及一种文本分类方法方法、装置、计算机设备和存储介质，该方法包括：从原始文本中提取待分析的目标文本数据；对目标文本数据进行预处理，得到目标文本数据的分词结果；基于分词结果得到目标文本数据对应的目标字向量、目标词向量和目标位置向量；将目标字向量、目标词向量和目标位置向量输入预先训练好的文本分类模型，得到文本分类模型输出的目标分类标签，其中，文本分类模型为经过微调的alber模型。上述方法时采用albert模型对文本数据进行处理，有效提高了文本分类效率和准确性。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及文本分类方法、装置、计算机设备和存储介质。

背景技术

随着网络技术的快速发展，海量的信息资源以文本的形式存在。如何对这些文本进行有效的分类，从海量的文本中快速、准确、全面的挖掘有效信息，已经成为了自然语言处理研究领域的热点之一。文本分类方法是指按照预先定义的主题类别，为文档集合中的每个文档确定一个类别。文本分类方法技术在日常生活中具有广泛的应用，例如，对专利文本的技术划分等等。

与一般文本相比，专利文本具有结构特殊、专业性强、领域词汇较多等特点，需要采用更加针对的分类方法。专利文本分类方法属于自然语言处理领域，一般包括数据预处理、文本特征表示、分类器选择及效果评价等步骤，其中文本特征表示与分类器选择最为重要，将直接影响分类结果的准确性。

现有技术中，基于传统机器学习的文本分类方法，如TF-IDF文本分类方法是仅以“词频”度量词的重要性，后续构成文档的特征值序列，词之间各自独立，无法反映序列信息；易受数据集偏斜的影响，如某一类别的文档偏多，会导致IDF低估；处理方法是需要增加类别权重。没有考虑类内、类间分布偏差(被用于特征选择时)。基于深度学习的文本分类方法，如Facebook开源的FastText文本分类方法，Text-CNN文本分类方法，Text-RNN文本分类方法等。TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定filter_size的视野，一方面无法建模更长的序列信息，另一方面filter_size的超参调节也很繁琐。CNN本质是做文本的特征表达工作，而自然语言处理中更常用的是递归神经网络(RNN,RecurrentNeuralNetwork)，能够更好的表达上下文信息。CNN和RNN用在文本分类方法任务中尽管效果显著，但都有一个不足的地方就是不够直观，可解释性不好，特别是在分析badcase时候感受尤其深刻。

发明内容

本申请提供了一种文本分类方法、装置、计算机设备和存储介质。

第一方面提供了一种文本分类方法，所述方法包括：

从原始文本中提取待分析的目标文本数据；

对所述目标文本数据进行预处理，得到所述目标文本数据的分词结果；

将所述分词结果输入与训练好的文本分类模型中，所述文本分类模型基于所述分词结果得到所述目标文本数据对应的目标字向量、目标词向量和目标位置向量以及基于所述目标字向量、所述目标词向量和所述目标位置向量得到所述目标文本数据的目标分类标签；其中，所述文本分类模型为经过训练的alber模型。

在一些实施例中，在从原始文本中提取待分类的文本数据之前，还包括：

提取待所述原始文本中关键词，并构成关键词集；

基于TF-IDF模型确定所述关键词集在各个类别的语料库中的词频-逆文档频率；

基于所述原始文本的关键词集在各个类别的语料库中的词频-逆文档频率，确定所述原始文本属于各个类别的置信度；

根据所述原始文本属于各个类别的置信度，确定所述原始文本的一级分类标签；

将所述一级分类标签与预设的一级分类标签信息进行匹配，并根据匹配结果确定是否采用所述文本分类模型对所述原始文本进行文本分类。