[发明专利]一种热线的数据抽取及数据要素分析方法

说明书

一种热线的数据抽取及数据要素分析方法，包括S1：收集数据构成数据集，对数据进行分词并预处理后得到待提取的特征词数据；S2：计算每个特征词出现的词频以及频率值；S3：根据词频和频率值，计算对应特征词的权重值，根据每个特征词权重值大小进行排序，输出前topN个特征词；S4：将步骤S3处理后的特征词输入至向量模型进行训练，得到特征词的向量化表示；S5：基于词移距离方法WMD对步骤S4中各特征词之间的向量进行相似度计算；S6：利用K‑means聚类算法，计算向量对应特征词的相似特征词，形成所属的簇集合；S7：通过聚类分析，识别特征词潜在不同类型，生成有关事件。

技术领域

本发明涉及数据分析技术领域，特别涉及一种热线的数据抽取及数据要素分析方法。

背景技术

随着互联网和计算机技术的快速发展，当前数据分析正在快速从商业智能向用户智能发展，各行业及政府部门数据存量越来越大以及数据类型繁多，如何根据不同需求利用已有数据发现数据之间的关系和数据深层次的价值，如何在政务热线系统中快速找到各类热点、突发、敏感等事件，为领导决策服务，为政务热线业务服务，提高公共政务服务效率，提供更智能的数据支撑，是当前亟需的一种数据挖掘分析能力。

目前行业里出现了不同的数据分析系统，虽然数据分析工具与挖掘渠道日益丰富多样，但其主要原理基本是预设事件特征词，然后对数据做特征词匹配，组成事件数据。比如中国的第2016105990149号专利，该方法就是根据预设事件识别模型对数据中所包含的事件构成要素识别。但是在具有一定实时热点、突发、敏感等事件的预设事件特征词不够及时的情况下，可能无法提取事件特征词或提取的特征词无效，从而无法及时生成有效的相关事件。另外在不同的数据文本中需要根据语义理解才能作出准确的事件聚类，因此我们不能简单地根据预设特征词本身进行匹配。

发明内容

本发明针对现有技术中的不足，提供一种热线的数据抽取及数据要素分析方法，不再局限于通过预设事件特征词来进行数据中特征词的匹配吗，而是基于从原始数据本身出发，匹配其中的各个特征词，形成有效的相关事件，能快速从海量的数据中筛选有效、重点的内容以为各方做出决策服务，该方法特别适用于政务热线业务服务，提高公共政务服务效率，提供更智能的数据支撑。

为实现上述目的，本发明采用以下技术方案：

一种热线的数据抽取及数据要素分析方法，包括以下步骤：

S1：收集热线数据，并构建成多个数据集，通过对数据集中的数据进行分词，经过预处理后使得每个数据集中都有待提取的特征词数据；

S2：针对待提取的特征词数据，计算每个特征词出现的词频WF_a以及频率值RDF_a，进而生成频率值字典；

S3：根据当前热线的业务场景，选择需要过滤的不同词性，进而筛选去部分的待提取的特征词数据，然后查询频率值字典中每个特征词的词频WF_a和频率值RDF_a，并计算对应特征词的权重值V，根据每个特征词权重值V的大小进行由大到小排序，输出前topN个特征词；

S4：建立现有的向量模型，并将步骤S3处理后的特征词输入至向量模型进行训练，进而得到特征词的向量化表示；

S5：基于词移距离方法WMD对步骤S4中各特征词之间的向量进行相似度计算；

S6：利用K-means聚类算法，设置k个类簇集合，然后从步骤S4处理后所形成特征词向量的数据集合中任意选择k个向量数据作为聚类算法的初始质心，利用步骤S5的方法计算这些向量对应特征词的相似特征词，形成所属的簇集合；

S7：通过步骤S6的聚类分析，识别特征词数据的潜在不同类型，生成不同条件下的有关事件。

为优化上述技术方案，采取的具体措施还包括：