[发明专利]非结构化数据的处理方法和装置

说明书

技术领域

本发明实施例涉及计算机领域，尤其涉及一种非结构化数据的处理方法和装置。

背景技术

列车的客服系统在实际的运行过程中会产生大量的客运服务系统报表记录数据，这些数据中蕴含了丰富的与系统运行相关的信息，且这些数据一般都是非结构化的，即没有一定的格式，因此，主要采用非结构化数据聚类的方法对这些数据进行处理。

目前，该非结构化数据聚类的方法主要包括隐含语义分析(Latent Semantic Analysis，简称LSA)方法。该LSA方法主要分为三步：分词、向量化和聚类。具体的，先采用汉语词法分析系统(Institute of Computing Technology，Chinese Lexical Analysis System，简称ICTCLAS)对待聚类数据进行分词，获取分词结果；然后采用DF算法对该分词结果进行特征提取，获取特征词，再采用向量空间模型(Vector Space Model，简称VSM)对获取到的特征词进行向量化，得到一个矩阵Y来表示所有的特征词，并采用奇异值分解(Singular value decomposition，简称SVD)对该矩阵Y进行降维，获取降维后的数据矩阵W。最后，采用Kmeans算法对数据矩阵W进行聚类，得到最终的数据聚类结果。需要说明的是，对分词结果进行特征提取的原理是：如果一个词的出现频率很高或者很低，那么这个词的信息含量很少，大部分数据都含有这个词或者都不含这个词，那么该词对分辨这些数据是毫无意义的，可以不提取该词。

但是，现有的LSA方法在处理客运服务系统报表记录数据时会存在如下缺陷：一是由于客运服务系统报表记录数据的专业化程度很高，即含有丰富的专业词汇，因此在分词过程中容易将这些数据中的专业词汇删除；二是由于客运服务系统报表记录数据并不是一个完整的语句，有可能仅仅是一些短语，甚至不一定符合语法规范，因此，采用ICTCLAS对其进行分词很难得到合适的分词结果，从而造成了在采用LSA方法在处理客运服务系统报表记录数据时获取的聚类结果质量较低的问题。

发明内容

本发明实施例提供一种非结构化数据的处理方法和装置，解决了现有技术中将出现次数很高和很低的词汇删除，造成不合适的分词结果，导致聚类结果的质量较低的问题，有效的提高了对非结构化数据的聚类处理的质量和效率。

本发明实施例第一方面提供一种非结构化数据的处理方法，包括：

根据预先配置的字典树，对获取的待处理的数据进行分词处理，获取分词结果；所述字典树是根据所述预先配置的知识数据库建立的，其中，所述知识数据库为二元组的集合，且所述二元组的集合包括文本信息和对应的编号；

采用向量空间模型VSM，对所述分词结果进行向量化处理，获取向量化结果；

采用主成分分析法PCA或奇异值分解算法SVD，对所述向量化结果进行降维处理，获取降维结果；

采用数据挖掘算法K-means算法对所述降维结果进行连续两次聚类计算，并根据所述聚类计算获取的欧氏距离或余弦相似度，对所述待处理数据进行聚类，获取聚类结果。

本发明第二方面提供一种非结构化数据的处理装置，包括：

分词模块，用于根据预先配置的字典树，对获取的待处理的数据进行分词处理，获取分词结果；所述字典树是根据所述预先配置的知识数据库建立的，其中，所述知识数据库为二元组的集合，且所述二元组的集合包括文本信息和对应的编号；

向量化模块，用于采用向量空间模型VSM，对所述分词结果进行向量化处理，获取向量化结果；

降维模块，用于采用主成分分析法PCA或奇异值分解算法SVD，对所述向量化结果进行降维处理，获取降维结果；

聚类模块，用于采用数据挖掘算法K-means算法对所述降维结果进行连续两次聚类计算，并根据所述聚类计算获取的欧氏距离或余弦相似度，对所述待处理数据进行聚类，获取聚类结果。

本发明提供的非结构化数据的处理方法和装置，根据知识数据库构建的字典树对待处理的数据进行分词处理获得分词结果，并对该分词结果进行向量化，进一步进行降维处理获得降维结果，再对该降维结果进行连续两次的聚类计算，获取聚类结果，解决了现有技术中将出现次数很高和很低的词汇删除，造成不合适的分词结果，导致聚类结果的质量较低的问题，有效的提高了数据进行聚类处理的质量和效率。

附图说明