[发明专利]一种基于Hadoop的无线电环境地图数据处理系统

摘要

本发明请求保护一种基于Hadoop的无线电环境地图数据处理系统，属于数据处理领域。该系统主要包括数据导入模块、数据处理模块和数据可视化模块。数据导入模块利用Flume技术实时监控并上传通过移动终端设备收集到的海量无线网络环境相关数据至HDFS分布式文件系统中；数据处理模块利用Hadoop分布式数据处理集群对这些数据进行清洗过滤、融合等相关处理，并将处理之后的结果存入数据库中；数据可视化模块调用百度地图API将处理结果在地图上进行展示。本发明是一种基于Hadoop的无线电环境地图数据处理系统，能够实现对移动终端收集到的海量无线环境相关数据的处理和可视化展示，方便无线资源的管理和无线网络的优化，普通用户也能通过本系统查看感知区域内当前或历史的无线环境状态。

主权项

一种基于Hadoop的无线电环境地图数据处理系统，其特征在于，包括：数据导入模块(101)、数据处理模块(102)和数据可视化模块(103)；其中，数据导入模块(101)：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；数据处理模块(102)：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；数据可视化模块(103)：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。