[发明专利]一种基于Hadoop的FLASH P2P流媒体实时监测方法

摘要

本发明涉及一种基于Hadoop的FLASH P2P流媒体实时监测方法，所述方法包括客户端启动作业，通过任务调度器获取该作业，并将其放入作业队列中；通过所述客户端开启嗅探器，获取数据包，将所述数据包发送给HDFS；从所述HDFS获取输入划分信息，创建映射任务，并将每个映射任务分配给任务跟踪器；所述任务跟踪器收到映射任务后，从HDFS获取映射化简程序MapReduce，同时对该任务执行映射和化简。由此克服了数据量庞大不能及时处理的缺陷。

主权项

1.一种基于Hadoop的FLASH P2P流媒体实时监测方法，其特征在于，所述方法包括：(1)客户端启动作业，通过任务调度器获取该作业，并将其放入作业队列中；(2)通过所述客户端开启嗅探器，获取数据包，将所述数据包发送给HDFS；(3)从所述HDFS获取输入划分信息，创建映射任务，并将每个映射任务分配给任务跟踪器；(4)所述任务跟踪器收到映射任务后，从HDFS获取映射化简程序MapReduce，同时对该任务执行映射和化简；所述步骤(4)中执行映射的方法包括：在执行映射前，确认映射任务的输入/输出的路径，并输入目录下的数据文件；获取第一<键，值>、中间<键，值>和第二<键，值>，先根据第一<键，值>进行映射计算，对其输出结果进行第二次映射计算，得到映射输出结果进行化简输出，并将数据输出到设定的目录下；第一次映射计算，包括通过映射函数根据数据包类型筛选UDP数据包，生成所述中间<键，值>，并删除UDP数据包外的其他数据包，其中键值为该UDP数据包类型，value值为UDP数据包。