[发明专利]基于SparkMLlib文档分类的类库构建方法及系统

说明书

技术领域

本发明涉及文本自动分类技术领域，尤其涉及一种基于SparkMLlib文档分类的类库构建方法及系统。

背景技术

随着互联网技术的迅速发展与普及，如何对浩如烟海的数据进行分类、组织和管理，已经成为一个具有重要用途的研究课题。而在这些数据中，文本数据又是数量最大的一类。文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程，这其中最重要的就是构建文本分类类库。

目前，占主导地位的文本分类类库构建方法一直是基于知识工程的方法：借助专业人员的帮助，为每个类别定义大量的推理规则。但是这种方法有明显的缺点：分类类库的质量依赖于规则的好坏；需要大量的专业人员进行规则的制定；不具备可推广性，不同的领域需要构建完全不同的类库，造成开发资源和资金资源的巨大浪费。

因此，如何有效的构建文档的分类类库是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于SparkMLlib文档分类的类库构建方法及系统，基于SparkMLlib的机器学习技术，以统计理论为基础，利用算法让机器具有类似人类般的自动学习能力，对已知的训练数据做统计分析从而获得规律形成类库，节约了大量人力成本，且减少了人工随机性大大提高了运算的准确程度。

本发明提供了一种基于SparkMLlib文档分类的类库构建方法，包括：

获取所述SparkMLlib的运行参数，其中，所述运行参数包括平滑参数和模型类型；

去除已分类目标文档的类内高重复项；

对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项；

基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库。

优选地，所述基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库后，还包括：

基于所述新的文档分类的类库对文档进行分类。

优选地，所述对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项具体为：

对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项。

优选地，所述对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项包括：

基于所有已知的分类类库中的分类项，基于公式分别两两计算其相关系数Corr(X,Y)，其中，n表示文档词总量，X和Y分别为文档标识,x，y分别表示文档X和Y的分词之后的词向量各个位置的分量；

在同一类里，对于与文档a的词频向量相关系数超过指定的阈值的一系列文档{ai}词频向量，计算其重心，作为描述{ai}的新的词频特征向量。

优选地，所述基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库包括：

基于公式计算类内两两向量之间的向量间距，其中，X和Y分别表示两个文档所有词组的词频组成的文档词频特征向量；

基于上述公式计算出两个文档之间的词频向量夹角；

通过计算类内两两向量之间的夹角删选间距值累计距离较大的向量。

一种基于SparkMLlib文档分类的类库构建系统，包括：

获取模块，用于获取所述SparkMLlib的运行参数，其中，所述运行参数包括平滑参数和模型类型；

第一去除模块，用于去除已分类目标文档的类内高重复项；

第二去除模块，用于对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项；

生成模块，用于基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库。

优选地，所述系统还包括：

分类模块，用于基于所述新的文档分类的类库对文档进行分类。

优选地，所述第二去除模块具体用于：

对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项。

优选地，所述第二去除模块具体用于：

基于所有已知的分类类库中的分类项，基于公式分别两两计算其相关系数Corr(X,Y)，其中，n表示文档词总量，X和Y分别为文档标识,x，y分别表示文档X和Y的分词之后的词向量各个位置的分量；

在同一类里，对于与文档a的词频向量相关系数超过指定的阈值的一系列文档{ai}词频向量，计算其重心，作为描述{ai}的新的词频特征向量。

优选地，所述生成模块具体用于：