[发明专利]文本分类方法及装置

说明书

本发明公开了一种文本分类方法及装置，该方法包括：获取用于模型训练的文本；根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字；根据所述用于模型训练的文本中的每个字对应的数字、所述用于模型训练的文本中每个字的位置以及所述用于模型训练的文本的分类生成第一格式数据；将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型，以根据训练好的文本分类模型进行文本分类。本发明的文本分类方法与现有技术方法相比提升了分类精度和分类速度。

技术领域

本发明涉及机器学习领域，具体而言，涉及一种文本分类方法及装置。

背景技术

文本分类是NLP领域应用最广的技术之一，就是基于文本信息按一定的分类体系或标准进行自动分类标记。使用场景非常广泛，比如情感分析，信贷客户的舆情分析、行业分类、行外客户公私属性识别等。举个简单例子，如要根据户名识别公私属性，分别输入“茅台酒业、法提合·夏日夫、春城晚报、樊仲芳子、范江宗正、吉锅小米线”，则分类器将分别标记为“法人、个人、法人、个人、个人、法人”。常见的文本分类方法有基于传统机器学习的文本分类，如TF-IDF文本分类等；基于深度学习的文本分类，如FaceBook开源的Fasttext文本分类，Text-CNN文本分类等。现有技术的这些分类算法存在分类精度和速度不够理想的问题。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种文本分类方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种文本分类方法，该方法包括：

获取用于模型训练的文本；

根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字；

根据所述用于模型训练的文本中的每个字对应的数字、所述用于模型训练的文本中每个字的位置以及所述用于模型训练的文本的分类生成第一格式数据；

将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型，以根据训练好的文本分类模型进行文本分类。

可选的，该文本分类方法还包括：

获取待分类的文本；

根据所述文字与数字之间的对应关系确定所述待分类的文本中的每个字对应的数字；

根据所述待分类的文本中的每个字对应的数字、所述待分类的文本中每个字的位置生成第二格式数据；

将所述第二格式数据输入到训练好的文本分类模型中，得到所述待分类的文本的分类。

可选的，所述将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型，包括：

将所述第一格式数据作为训练数据采用LightGBM算法训练出文本分类模型，其中，在训练文本分类模型时将所述第一格式数据中的所述待分类的文本中的每个字对应的数字设置为分类型变量。

可选的，所述第一格式数据中包括：所述用于模型训练的文本的分类编号、所述用于模型训练的文本中每个字的位置序号以及所述用于模型训练的文本中的每个字对应的数字。

可选的，所述第二格式数据中包括：所述待分类的文本中每个字的位置序号以及所述待分类的文本中的每个字对应的数字。

为了实现上述目的，根据本发明的另一方面，提供了一种文本分类装置，该装置包括：

训练文本获取单元，用于获取用于模型训练的文本；

数据字典单元，用于根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字；