[发明专利]一种可链接式流式数据解析动态流程构建模型实现方法

说明书

本发明提供了一种可链接式流式数据解析动态流程构建模型实现方法，根据通道/信号码流解析任务的任务参数，获取数据通信路径并匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；通过可链接式处理单元算法单元控制接口初始化所述实例化对象，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；最后调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。与现有技术相比，能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且在信号码流处理的流式及控制上均有良好的可伸缩性。

技术领域

本发明涉及一种可链接式流式数据解析动态流程构建模型实现方法，特别是涉及一种适用于数据通信领域的可链接式流式数据解析动态流程构建模型实现方法。

背景技术

目前，流式数据处理应用主要热点在分布式云计算领域。如在一篇申请号为“CN201110450268.1”的中国专利申请文件中公开了一种适用流式处理的大规模数据连续分析系统实现方法，其适用流式处理的大规模数据连续分析系统，包括元数据管理模块，用于管理数据表和数据库的元信息；查询计划生成模块，用于接收查询请求，生成优化的查询计划；数据导入任务生成模块，用于接收数据导入请求，生成数据导入MR作业集；增量处理模块，用于并行地增量地提交Hadoop系统数据导入和查询作业；MR消息处理模块，用于接收Hadoop系统的Map或Reduce函数的结果，将结果输出给Reduce端或下一个作业；数据库连接模块，用于作为Hadoop系统和数据库之间的接口。该发明使用Hadoop系统将各节点中的数据库有机组织在一起，并发地执行数据导入和数据查询，使用管道技术改进MapReduce(MR)执行流程，使得数据查询以连续的流水的方式执行，大大缩短了大规模数据分析的时间。

通信产业是大数据的基础承载者。通信网络承载海量数据，无论是结构化，还是非结构化抑或是混合数据，都在通信网络上传输、承载、存储、交换。与此同时，所有接入信息网络人、物，又产生新的数据留下信息轨迹。通信网在由电信网转变成计算网同时，也形成了一个庞大的每天都在膨胀、更新的数据富矿。无疑，通信企业具有天然的大数据资源。

但对于通信产业大数据这个富矿的挖掘，首要解决的是基于设备和网络上的海量流式码流数据进行码流解析、协议解析转化、分类萃取有效数据，进而为进一步信息化数据大数据分析挖掘的提供数据源。而现有流式数据处理限于基于信息化数据大数据分析挖掘的分布式云计算技术解决方案。

发明内容

本发明要解决的技术问题是提供一种可链接式流式数据解析动态流程构建模型实现方法及系统，应对通信协议数据码流解析这种层层剥离、分接、迭代解析的流式数据处理流式数据解析动态流程构建模型。

本发明采用的技术方案如下：

一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：

步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；

步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；

步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；

步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；

步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。

所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。