[发明专利]一种高效的文本数据挖掘方法

说明书

技术领域

本发明属于信息技术领域，涉及一种高效的文本数据挖掘方法，主要应用于数据挖掘、Web数据挖掘、自然语言处理、智能搜索等领域。

背景技术

随着互联网的快速发展，它已经变成了世界上规模最大的公共数据源，而且其规模还正在不停的增长着。从其中包含的内容看，互联网上的内容大多是通过超链接的方式链接在一起的，并且其中相当大的一部分具有动态变化的特点；以此为基础，基于互联网可以提供众多的服务，而且通过人、组织等之间的交流形成了一个虚拟的社会。为此，以从互联网的结构、内容、日志等之中探寻有用知识为目标的Web数据挖掘得到了很大的关注和发展，尤其是以互联网上的内容作为挖掘对象的内容挖掘尤其如此。

从Google2004年每天处理100TB(Jeffrey Dean and Sanjay Ghemawat.MapReduce：Simplified data processing on large clusters.In Proceedings of the 6th Symposium on Operating System Design and Implementation(OSDI 2004)，137-150，2004)数据到2008年每天处理20PB(Jeffrey Dean and Sanjay Ghemawat.MapReduce：Simplified data processing on large clusters.Communications of the ACM，51(1)：107-113，2008)数据的事实可以看出：互联网上的内容非常之多，速度发展非常之快。从数据的角度看，很明显，互联网内容挖掘是一种典型的数据密集型处理应用。

当前，出于计算效率等因素的考虑，数据密集型应用一般采用分布式计算框架对数据进行处理和计算。Hadoop即是当前在研究和工业界应用较多的一种分布式计算框架(http://hadoop.apache.org/)，其实现核心是Map/Reduce计算模型，Map/Reduce是一种面向超大规模数据的分布式计算模型和软件架构(Jeffrey Dean and Sanjay Ghemawat.MapReduce：Simplified data processing on large clusters.In Proceedings of the 6th Symposium on Operating System Design and Implementation(OSDI 2004)，137-150，2004)。Hadoop中Map/Reduce数据处理过程如图1所示(Tom White.Hadoop：The Definitive Guide，30-30，2011)。其基本思路是：框架中分为两种节点：Map计算节点、Reduce计算节点；系统首先将输入的文件划分成splits，Map计算节点中的每个Map任务负责处理其中的一个split，执行预定的操作，其处理结果经过排序等操作后拷贝到不同Reduce计算节点上的Reduce任务，每个Reduce任务对发给其的中间结果进行预定的后续处理后，产生最终的计算结果并输出到分布式文件系统(HDFS)中。从而通过这种并行运算的方式提高数据处理、计算的速度。

在以Web内容作为挖掘对象的Web数据挖掘过程中，对网页中的特定对象(比如单词、词组、词语、短语、词语搭配等)计算其在特定范围内(比如一个网页内、一个文件内、一个段落内、一个文章内等)的出现次数(频数)是一个非常基础而且应用广泛的工作，它大量应用于关键词提取、建立倒排索引、建立语言模型、情感分析等应用中，是这些应用计算过程中不可或缺的基础性计算工作。

应用Map/Reduce计算模型对网页文本中的词语进行词频计算的简单过程(假定网页文本内容已经过分词器分词)如图2所示。

在这样一种词频计算处理模式中，Map节点的Map任务将每个网页文本文件作为输入，并将文本中的每个词语及其频数(这里为1，即每个词每出现一次就进行一次计算)组成的键-值对发送出去；而在Reduce节点中，Reduce任务将分发给其的这些键-值对进行归并整理，得到每一个词的出现次数之和(即词语频数)。从计算的整个过程看，这样一种实现方式尽管能计算得到结果，但存在一些问题从而影响了计算效率的进一步提高，这些问题分别是：

(1)在读入文件过程中，由于网页文本较小(一般为几kbytes)但数量众多，所以初始的文件读取和Map任务创建等将是一个很大的负担。