[发明专利]基于多粒度建模的半监督文本分类方法和系统

说明书

本发明提供一种基于多粒度建模的半监督文本分类方法和系统，涉及数据处理技术和机器学习技术领域。本发明使用多粒度的文本建模方式形成三通道的文本向量模型层，分别从字符级、词语级、句子级三个级别对同一文本进行文本建模，再将三个级别的建模分别作为三个通道，并将三个通道的输出输入给三个基分类器组，在不损失样本或者特征的情况下获得样本之间的分歧，取代了传统的重采样与随机子空间方法；同时，九个基分类器集成为三个基分类器组的设计，集成了不同基分类器的优点，使用不同的基分类器获取相同样本的不同特征，获得基分类器之间的分歧，从而有效提高了半监督文本分类方法的分类结果准确度。

技术领域

本发明涉及数据处理技术和机器学习技术领域，具体涉及一种基于多粒度建模的半监督文本分类方法和系统。

背景技术

互联网技术的迅猛发展，使得信息传递越来越迅速、便捷，在信息源源不断地产生以及交互过程中，又衍生出更多新的信息，这些信息一直是在呈指数式增长的，而在这些海量信息中往往包含了许多有价值的东西，它们不仅从侧面反应了用户的大量潜在需求，还反馈出存在于企业服务中的诸多问题。如果对这些海量用户信息进行快速挖掘和有效提取，便可以轻松掌握用户需求，同时改进企业服务中存在的大量问题，为用户提供更优质的服务，抢占更广大市场。所以，如何对文本信息进行快速挖掘以及正确分类，逐渐成为了企业研究的热点，数据、文本分类相关技术也在不断发展和改进中。在使用传统的文本分类方法进行分类时，需要大量的有标注样本进行训练，然而，各种不同领域的文本具有专业性强、种类繁多、数量庞大等特点，对这些文本进行人工标注耗时费力，时间成本和经济成本都很高，而半监督学习正好可以解决这一问题。

半监督学习介于有监督学习(需要大量有标注的训练样本)和无监督学习(准确率相对较低)两者之间，只需要少量的有标注训练样本，就可以获得较高的准确性，降低了人工标注所带来的各种成本。目前，基于半监督学习的文本分类方法是使用诸如SVM等这些单一的分类器，然后使用重采样和随机子空间的方法获取样本分歧，再用这些样本集训练SVM模型获得多个不同的SVM分类器，最后通过对训练完的所有SVM分类器的预测结果相对多数投票策略得到最终的分类结果。

但是，这种传统的半监督文本分类的做法，使用单一种类的分类器，以及运用重采样和随机子空间的方法获取样本分歧时，存在样本或特征丢失的问题，对半监督分类的效果有较大的影响；另外，传统的半监督文本分类模型主要使用单一粒度的语言模型，会存在语义不完整、无法解决一词多义等问题，也会导致半监督文本分类效果不理想。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多粒度建模的半监督文本分类方法和系统，解决了传统半监督分类方法中存在样本或特征丢失，以及存在语义不完整、无法解决一词多义的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供一种基于多粒度建模的半监督文本分类方法，所述方法由计算机执行，包括以下步骤：

获取有标记的文本样本集L、未标记的文本样本集U、待分类文本T；

构建MG-SSC模型；其中，所述MG-SSC模型包括三通道的文本向量模型层、基分类器层和集成结果层；所述三通道的文本向量模型层包括第一通道、第二通道以及第三通道，所述基分类器层包括第一基分类器组A、第二基分类器组B以及第三基分类器组C；

基于所述第一通道分别对L、U和T进行编码得到L₁、U₁和T₁，基于所述第二通道分别对L、U和T进行编码得到L₂、U₂和T₂，基于所述第三通道分别对L、U和T进行编码得到L₃、U₃和T₃；