[发明专利]一种通信大数据的处理系统及方法

摘要

本发明涉及一种通信大数据的处理系统及方法，其系统包括采集模块、过滤模块、分类模块、存储模块、解析模块和分发模块，采集模块用于以队列持久化的方式采集通信大数据；过滤模块用于对采集的通信大数据进行过滤，去除重复、无效的通信大数据；分类模用于根据数据结构对过滤后的通信大数据进行分类；存储模块用于分类存储通信大数据；解析模块用于采用异步抓取的方式从所述存储模块中获取通信大数据，并采用对应的解析方式解析通信大数据；分发模块用于对解析后的通信大数据按照对应的协议链路进行分发传输。本发明系统采用分类的方式对通信大数据进行处理，同时在处理前，去掉重复、无效的数据，可以提高对通信大数据处理的效率。

主权项

一种通信大数据的处理系统，其特征在于：包括采集模块、过滤模块、分类模块、存储模块、解析模块和分发模块，所述采集模块，其用于以队列持久化的方式采集通信大数据；所述过滤模块，其用于对采集的通信大数据进行过滤，去除重复、无效的通信大数据；所述分类模块，其用于根据数据结构对过滤后的通信大数据进行分类；所述存储模块，其用于分类存储通信大数据；所述解析模块，其用于采用异步抓取的方式从所述存储模块中获取通信大数据，并采用对应的解析方式解析通信大数据；所述分发模块，其用于对解析后的通信大数据按照对应的协议链路进行分发传输。