[发明专利]基于大数据平台的文本处理及检索系统

摘要

本发明公开了一种基于大数据平台的文本处理及检索系统，其包括基于Hadoop的文本处理部分和基于Hadoop分布式检索功能部分；基于Hadoop的文本处理部分包括文本抽取模块等；基于Hadoop分布式检索功能部分包括语义标注模块、基于分布式内存共享检索模块。本发明能够对不同格式、不同编码的文本数据进行文本处理；对文本进行内容抽取、文本分词、索引建立、实体识别、关键词提取、自动摘要、文本聚类、自动分类的更全面的文本处理操作，充分挖掘文本数据所包含的信息和价值；文本处理结果可以通过服务接口的形式发布出去，提高了系统的交互性和扩展性；采用基于分布式内存共享的全文检索技术，提高文本处理后全文检索的效率。

主权项

一种基于大数据平台的文本处理及检索系统，其特征在于，所述基于大数据平台的文本处理及检索系统包括基于Hadoop的文本处理部分和基于Hadoop分布式检索功能部分；所述基于Hadoop的文本处理部分包括：文本抽取模块，接收外部文本文件；文本分词模块，接收来自文本抽取模块的文本内容；索引建立模块，根据文本分词模块所提供的分词结果建立文本内容的索引文件，为服务接口模块提供索引文件；实体识别模块，针对来自文本分词模块的分词结果，识别出文本内容中的实体词，并输出给服务接口模块；关键词提取模块，接收文本分词模块的分词结构，提取文本内容中的关键词，并输出给服务接口模块；自动摘要模块，根据文本分词模块所得到的分词结果以及上下文结构，进行自动的摘要生成，并将生成的文本内容摘要输出给服务接口模块；文本聚类模块，根据自动聚类功能是通过在文档的处理过程中，自动生成文档的特征向量，根据特征向量，将相似的文档聚合归类；自动分类模块，根据文本分词模块所输出的分词结构，按照预先定义的主体类别给文本内容确定一个类别，并将该分类结构输出给服务接口模块；服务接口模块，分别接受来自索引建立模块、实体识别模块、关键词提取模块、自动摘要模块、自动分类模块的输出结果，并将这些结构分别以服务的形式发布出去，来提供其他系统调用相应的文本处理结果；所述基于Hadoop分布式检索功能部分包括：语义标注模块，对文本添加语义标注，利用标注信息和文本之间的关系，进行辅助检索；基于分布式内存共享检索模块，将文本处理的结果存储到大数据平台中，并加载到内容中。