[发明专利]一种高效的文本数据挖掘方法

摘要

本发明公开了一种高效的文本数据挖掘方法，属于信息技术领域。本方法为：1)文件预处理阶段将内容经分词后的原文件合并为若干新文件；2)数据映射阶段计算每一词语在新文件中的总频数、在其中每一原文件中的频数及相对频率pr等，并将结果发送到重定向模块中；3)重定向阶段计算每一Reduce任务的负载量payload，并为每一Reduce任务设置一负载指示器payi；4)判断当前词语是否已分配了Reduce任务；如果未分配，则将其分配给Reducej，且payj+pr*100≤payload成立；然后更新Reducej的负载指示payj；否则将当前词语分配给相应Reducei任务；5)数据规约阶段对分配的词语计算其最终的频数等参数；6)根据数据规约结果，提取设定范围内频数大于设定阈值的词语。本发明大大提高频数计算、数据挖掘效率。

主权项

一种高效的文本数据挖掘方法，其步骤为：1)将待处理文件集中经分词后的原文件合并为若干个新文件，并以新文件的标识及其文件内容形成键‑值对，分配给文本数据挖掘系统中的Map任务；所述新文件中保存所合并原文件的文件标识及对应内容范围；2)所述Map任务对分配给其的新文件，计算每一词语在该新文件中的总频数以及在其中每一原文件中的频数、及其相对频率pr；所述相对频率为某一词语在一新文件的L个原文件中出现，其它词语在该新文件的Lother个原文件中出现，则该分词的相对频率为L/(L+Lother)；3)所述Map任务将新文件中每一词语的计算结果发送到一中间结果重定向模块；所述中间结果重定向模块计算文本数据挖掘系统中每一Reduce任务的最大负载量payload，并为每一Reduce任务设置一负载指示器payi；4)所述中间结果重定向模块判断当前词语是否已分配了Reduce任务；如果未分配，则将其分配给Reducej任务，且payj+pr*W≤payload成立；然后更新Reducej任务的当前负载payj＝payj+pr*W；如果已分配给Reducei任务，则将当前词语分配给该Reducei任务；其中，W为计算负载总量；5)所述Reduce任务进行数据规约，对所分配的词语计算其最终的频数；6)根据所有Reduce任务的数据规约结果，提取设定范围内频数大于设定阈值的词语作为提取的关键词。