[发明专利]一种面向迭代式海量实时流计算方法在审
申请号: | 201610040257.9 | 申请日: | 2016-01-18 |
公开(公告)号: | CN105760422A | 公开(公告)日: | 2016-07-13 |
发明(设计)人: | 张卫山;段鹏程;宫文娟;卢清华;李忠伟 | 申请(专利权)人: | 中国石油大学(华东) |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F9/54 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 266000 山东省*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 迭代式 海量 实时 计算方法 | ||
1.一种面向迭代式海量实时流计算方法,其特征在于,属于[在线,批处理/流处理,Iterative]类型的大数据编程模型,包括以下步骤:
步骤一、搭建集群环境;
步骤二、开发拓扑结构,上传拓扑任务到大数据集群环境;
步骤三、打开监控页面;
步骤四、启动监控器,感知拓扑结构的运行状态。
2.如权利要求1所述的面向迭代式海量实时流计算方法,其特征在于,所述步骤一中的集群环境由6台服务器组成,协同运行在一个私有网络空间里面,共同形成所述面向迭代式海量实时流计算方法的编程模型的物理环境。
3.如权利要求1所述的面向迭代式海量实时流计算方法,其特征在于,所述拓扑结构由多层前后连接而成,网络层的个数、每一层的分析器个数、层与层之间消息元组的数据结构、层与层之间的数据流的流动方式按照不同业务需求动态调整。
4.如权利要求1所述的面向迭代式海量实时流计算方法,其特征在于,所述拓扑结构按照批数据计算的方式进行。
5.如权利要求4所述的面向迭代式海量实时流计算方法,其特征在于,所述批数据计算的方式,具体为:当前一批数据在环形编程模型进行多次迭代计算,满足结束计算阈值时候,当前数据落地,然后下一批计算数据才进入编程模型。
6.如权利要求1所述的面向迭代式海量实时流计算方法,其特征在于,所述拓扑结构的具体流程为:首先需要建立模型实例,然后设置拓扑结构的层数,然后设置每一层分析器的个数,最后设置数据的流动模式和输入与输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国石油大学(华东),未经中国石油大学(华东)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610040257.9/1.html,转载请声明来源钻瓜专利网。