[发明专利]一种网络数据获取方法

摘要

本发明提供了一种网络数据获取方法，包括步骤：对数据处理作业客户端实例化后，申请分配数据处理作业的ID号，最后客户端向JobTracker模块提交数据处理作业执行请求；初始化用户数据处理作业，数据处理作业队列中若有待分配的数据处理作业，则其根据收到的信息决定是否向该TaskTracker模块分配任务；在执行Map或者Reduce任务时，每执行一个任务均会启动一个Java子进程来运行该任务；TaskTracker从节点与JobTracker通信时，JobTracker会分配该数据处理作业对应的Reduce任务给该从节点；完成数据处理作业运行，设置该数据处理作业的完成标记，同时向数据处理作业客户端发送数据处理作业完成的通知和相关统计数据。本发明对数据处理作业的进程分步处理，保证了数据处理作业的高效性。

主权项

一种网络数据获取方法，其特征在于，包括以下步骤：用户提交数据处理作业，用户编写自己的MapReduce程序并在客户端节点上运行，数据处理作业客户端实例化后，向JobTracker模块提交该数据处理作业信息，申请分配数据处理作业的ID号，然后数据处理作业客户端在验证本次数据处理作业相关信息无误的情况下，将数据处理作业资源存放到分布式文件系统中，Hadoop使用HDFS作为其文件存储系统，最后客户端向JobTracker模块提交数据处理作业执行请求；JobTracker初始化用户数据处理作业，JobTracker收到用户提交的数据处理作业后创建该数据处理作业实例对象并配置相关数据，包括该数据处理作业使用的Jar包存放位置、输入数据分块信息以及数据处理作业对应的配置文件信息，然后JobTracker根据先进先出调度算法将该数据处理作业放入其数据处理作业对待，用于后续分配；任务分配，当前MapReduce的机制中使用心跳通信机制来进行任务分配，即从节点中的TaskTracker模块定时向JobTracker发送心跳信息，JobTracker的数据处理作业队列中若有待分配的数据处理作业，则其根据收到的信息决定是否向该TaskTracker模块分配任务；当从节点上TaskTracker模块的Map任务槽有空闲时，JobTracker节点根据机架感知策略向该节点分配合适的Map任务，JobTracker在分配任务时，优先往TaskTracker上分配Map任务，只有在TaskTracker模块上Map任务槽无空闲时才分配Reduce任务；TaskTracker执行Map任务，TaskTracker在执行Map或者Reduce任务时，每执行一个任务均会启动一个Java子进程来运行该任务；启动子进程之前，TaskTracker模块首先从HDFS中读取该数据处理作业客户端之前存放的数据处理作业相关信息，然后再创建一个Java子进程来执行用户自己编写的Map任务，Map任务运行后会定期输出数据缓存在内存中，当缓存数据超过指定限额时，Map任务会将数据缓存在该从节点的磁盘中；TaskTracker执行Reduce任务，当有Map任务执行完毕，同时又TaskTracker模块存在空闲Reduce槽的情况下，该TaskTracker从节点与JobTracker通信时，JobTracker会分配该数据处理作业对应的Reduce任务给该从节点，JobTracker直接分配队列中的Reduce任务，当Reduce任务运行时，首先从对应的Map任务所在节点读取中间数据，当Reduce任务得到其所需的数据后开始执行用户编写的Reduce任务程序，Reduce任务运行时，将其输出结果存放到HDFS中；完成一次数据处理作业运行，Reduce任务全部完成后，输出结果根据用户指定的目录存放，JobTracker根据各个TaskTracker发送的心跳信息知道该数据处理作业已经运行完毕，设置该数据处理作业的完成标记，同时向数据处理作业客户端发送数据处理作业完成的通知和相关统计数据，在数据处理作业运行期间，用户客户端持续收到数据处理作业运行的进度信息。