[发明专利]基于SparkMLlib文档分类的类库构建方法及系统

权利要求书

1.一种基于SparkMLlib文档分类的类库构建方法，其特征在于，包括：

获取所述SparkMLlib的运行参数，其中，所述运行参数包括平滑参数和模型类型；

去除已分类目标文档的类内高重复项；

对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项；

基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库。

2.根据权利要求1所述的方法，其特征在于，所述基于夹角余弦定理去除类内离群值，生成新的文档分类的类库后，还包括：

基于所述新的文档分类的类库对文档进行分类。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项具体为：

对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项。

4.根据权利要求3所述的方法，其特征在于，所述对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项包括：

基于所有已知的分类类库中的分类项，基于公式分别两两计算其相关系数Corr(X,Y)，其中，n表示文档词总量，X和Y分别为文档标识,x，y分别表示文档X和Y的分词之后的词向量各个位置的分量；

在同一类里，对于与文档a的词频向量相关系数超过指定(人为设定，不能太小)的阈值的一系列文档{ai}词频向量，计算其重心，作为描述{ai}的新的词频特征向量。

5.根据权利要求1所述的方法，其特征在于，所述基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库包括：

基于公式计算类内两两向量之间的向量间距，其中，X和Y分别表示两个文档所有词组的词频组成的文档词频特征向量；

基于上述公式计算出两个文档之间的词频向量夹角；

通过计算类内两两向量之间的夹角删选间距值累计距离较大的向量。

6.一种基于SparkMLlib文档分类的类库构建系统，其特征在于，包括：

获取模块，用于获取所述SparkMLlib的运行参数，其中，所述运行参数包括平滑参数和模型类型；

第一去除模块，用于去除已分类目标文档的类内高重复项；

第二去除模块，用于对所述目标文档的已知的分类类库中的分类项进行聚类，去除类内相似项；

生成模块，用于基于夹角余弦定理去除类内过离散项，生成新的文档分类的类库。

7.根据权利要求6所述的系统，其特征在于，还包括：

分类模块，用于基于所述新的文档分类的类库对文档进行分类。

8.根据权利要求6所述的系统，其特征在于，所述第二去除模块具体用于：

对所述目标文档的已知的分类类库中的分类项进行聚类，基于皮尔逊相关系数法去除类内相似项。

9.根据权利要求8所述的系统，其特征在于，所述第二去除模块具体用于：

基于所有已知的分类类库中的分类项，基于公式分别两两计算其相关系数Corr(X,Y)，其中，n表示文档词总量，X和Y分别为文档标识,x，y分别表示文档X和Y的分词之后的词向量各个位置的分量；

在同一类里，对于与文档a的词频向量相关系数超过指定的阈值的一系列文档{ai}词频向量，计算其重心，作为描述{ai}的新的词频特征向量。

10.根据权利要求6所述的系统，其特征在于，所述生成模块具体用于：

基于公式计算类内两两向量之间的向量间距，其中，X和Y分别表示两个文档所有词组的词频组成的文档词频特征向量；

基于上述公式计算出两个文档之间的词频向量夹角；

通过计算类内两两向量之间的夹角删选间距值累计距离较大的向量。