[发明专利]一种基于Hadoop的大数据实时处理系统

摘要

本发明公开了一种基于Hadoop的大数据实时处理系统。本发明实施例中在创建查询任务的同时，进行过滤索引，过滤索引的同时可以将过滤完的索引文件分发到datanode上面，同时datanode完成本地文件的查询，并向客户端返回查询结果。并且本发明实施例中任何datanode的查询完成，都可以通过实时传输中间件的周期轮询机制快速的向客户端返回查询结果。本发明实施例中，在HDFS内的数据查询处理过程都是并发执行的，最大限度的利用了计算机的硬件设备，使查询达到了实时完成，极大地提高了查询的效率，用户执行查询操作时便能获得查询结果，提高数据查询的效率，快速响应客户端的查询请求。

主权项

一种基于Hadoop的大数据实时处理系统，其特征在于，所述基于Hadoop的大数据实时处理系统包括：客户端、实时传输中间件、分布式文件系统HDFS，其中，所述HDFS包括：控制节点namenode和多个数据节点datanode；所述控制节点，用于在所述多个数据节点上启动多线程，实时的创建需要入库的多个数据分别对应的索引，并将多个索引按照创建时间保存在多个索引文件中；所述客户端，用于通过所述实时传输中间件向所述HDFS发送数据获取get请求；所述实时传输中间件，用于将所述客户端发送的数据获取请求转发给所述控制节点；所述控制节点，用于根据所述客户端发送的数据获取请求创建查询任务，所述查询任务包括：目标数据所满足的查询条件，所述查询条件包括：查询时间条件；根据所述查询条件中的查询时间条件和所述多个索引文件进行匹配，筛选出满足所述查询时间条件的索引条件；将所述查询任务分发到所述多个数据节点上，根据所述筛选出的索引文件和所述查询条件查询所述多个数据节点，从而得到满足所述查询条件的数据的位置；再次向所述多个数据节点分发所述查询任务，根据所述满足所述查询条件的数据的位置在所述多个数据节点上读取数据，当所述多个数据节点中任何一个数据节点查询成功时，返回查询结果；所述实时传输中间件，用于按照预置的轮询周期轮询查询结果目录，如果所述查询结果目录不为空，则读取所述查询结果目录中的查询结果文件并返回给客户端；所述客户端，用于通过所述实时传输中间件实时的获取到所述查询结果文件。