[发明专利]一种基于Hadoop的大数据实时处理系统

权利要求书

1.一种基于Hadoop的大数据实时处理系统，其特征在于，所述基于Hadoop的大数据实时处理系统包括：客户端、实时传输中间件、分布式文件系统HDFS，其中，

所述HDFS包括：控制节点namenode和多个数据节点datanode；

所述控制节点，用于在所述多个数据节点上启动多线程，实时的创建需要入库的多个数据分别对应的索引，并将多个索引按照创建时间保存在多个索引文件中；

所述客户端，用于通过所述实时传输中间件向所述HDFS发送数据获取get请求；

所述实时传输中间件，用于将所述客户端发送的数据获取请求转发给所述控制节点；

所述控制节点，用于根据所述客户端发送的数据获取请求创建查询任务，所述查询任务包括：目标数据所满足的查询条件，所述查询条件包括：查询时间条件；根据所述查询条件中的查询时间条件和所述多个索引文件进行匹配，筛选出满足所述查询时间条件的索引条件；将所述查询任务分发到所述多个数据节点上，根据所述筛选出的索引文件和所述查询条件查询所述多个数据节点，从而得到满足所述查询条件的数据的位置；再次向所述多个数据节点分发所述查询任务，根据所述满足所述查询条件的数据的位置在所述多个数据节点上读取数据，当所述多个数据节点中任何一个数据节点查询成功时，返回查询结果；

所述实时传输中间件，用于按照预置的轮询周期轮询查询结果目录，如果所述查询结果目录不为空，则读取所述查询结果目录中的查询结果文件并返回给客户端；

所述客户端，用于通过所述实时传输中间件实时的获取到所述查询结果文件。

2.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述控制节点，具体用于按照B+树的结构实时的创建需要入库的多个数据分别对应的索引；以及，

所述控制节点，具体用于根据所述筛选出的索引文件和所述查询条件通过所述B+树查询所述多个数据节点，从而得到满足所述查询条件的数据的位置。

3.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述客户端，还用于继续向所述HDFS发送数据获取继续请求；

所述HDFS，还用于通过所述控制节点响应所述据获取继续请求，从所述多个数据节点中启动多线程获取所述数据获取继续请求对应的查询结果；

所述实时传输中间件，还用于按照预置的轮询周期读取到所述数据获取继续请求对应的查询结果，并返回给客户端。

4.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述客户端，还用于所述实时传输中间件发送结束请求；

所述实时传输中间件，还用于接收到所述客户端发送的结束请求之后，停止轮询查询结果目录。

5.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述控制节点，具体用于得到满足所述查询条件的数据的位置之后，根据所述满足所述查询条件的数据的位置确定所述目标数据所在数据节点的互联网协议IP地址和偏移量，根据所述IP找到存储所述目标数据的数据节点，再根据所述偏移量从存储所述目标数据的数据节点中查找到所述目标数据。

6.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述查询时间条件，包括：查询开始时间和查询结束时间。

7.根据权利要求1所述的一种基于Hadoop的大数据实时处理系统，其特征在于，所述实时传输中间件，具体为：使用jetty作为网络web容器。