[发明专利]一种高效的文本数据挖掘方法

权利要求书

1.一种高效的文本数据挖掘方法，其步骤为：

1)将待处理文件集中经分词后的原文件合并为若干个新文件，并以新文件的标识及其文件内容形成键-值对，分配给文本数据挖掘系统中的Map任务；所述新文件中保存所合并原文件的文件标识及对应内容范围；

2)所述Map任务对分配给其的新文件，计算每一词语在该新文件中的总频数以及在其中每一原文件中的频数、及其相对频率pr；所述相对频率为某一词语在一新文件的L个原文件中出现，其它词语在该新文件的L_other个原文件中出现，则该分词的相对频率为L/(L+L_other)；

3)所述Map任务将新文件中每一词语的计算结果发送到一中间结果重定向模块；所述中间结果重定向模块计算文本数据挖掘系统中每一Reduce任务的最大负载量payload，并为每一Reduce任务设置一负载指示器pay_i；

4)所述中间结果重定向模块判断当前词语是否已分配了Reduce任务；如果未分配，则将其分配给Reduce_j任务，且pay_j+pr*W≤payload成立；然后更新Reduce_j任务的当前负载pay_j＝pay_j+pr*W；如果已分配给Reduce_i任务，则将当前词语分配给该Reduce_i任务；其中，W为计算负载总量；

5)所述Reduce任务进行数据规约，对所分配的词语计算其最终的频数；

6)根据所有Reduce任务的数据规约结果，提取设定范围内频数大于设定阈值的词语作为提取的关键词。

2.如权利要求1所述的方法，其特征在于所述Map任务将新文件中每一词语的计算结果形成一键-值对(key，value)；其中，Key代表词语，value为一list变量，用于记录词语在新文件及原文件范围内的频数，及其相对频率。

3.如权利要求1所述的方法，其特征在于所述中间结果重定向模块为每一Reduce任务初始化一词语列表word_i，用于记录当前任务所计算的词语的列表。

4.如权利要求1所述的方法，其特征在于生成所述新文件的方法为：首先，将要处理的文本文件按照其文件大小排序，将这些文件分成不同区域；然后，设置所述新文件包含k个原文件，按照每个区域的文件数占总文件数的比例分配所述新文件在每个区域上所抽取的原文件数，如果某区域中一原文件被重复抽取，则将该原文件更换为所在区域的另一文件；最后，将本阶段抽取的原文件合并为一新文件并生成该新文件的标识。

5.如权利要求1所述的方法，其特征在于所述Reduce任务进行数据规约的方法为：统计其所分配到的每一词语的总频数，以及其在每个原文件中的频数。

6.如权利要求5所述的方法，其特征在于所述设定范围为：整个待处理文件集、或某一原文件、或某些原文件。

7.如权利要求1所述的方法，其特征在于分词后的所述词语包括：字、词、词组、短语。