[发明专利]一种Flume与SparkStreaming整合的方法及系统在审
申请号: | 201610232612.2 | 申请日: | 2016-04-14 |
公开(公告)号: | CN105915377A | 公开(公告)日: | 2016-08-31 |
发明(设计)人: | 穆亮 | 申请(专利权)人: | 北京思特奇信息技术股份有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24 |
代理公司: | 北京轻创知识产权代理有限公司 11212 | 代理人: | 杨立 |
地址: | 100086 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种Flume与SparkStreaming整合的方法及系统,其中方法包括以下步骤:步骤1:下载可供代码正常运行的插件包;步骤2:修改Flume的配置信息,指定节点ip和端口;步骤3:Flume与SparkStreaming通过设置的端口进行数据交互,SparkStreaming应用插件包对得到的变化数据并进行分析处理,得到分析结果。本发明通过Flume与SparkStreaming整合,使整个系统达到了高通量、容错处理、低延迟、高性能、分布式的流式处理的状态。 | ||
搜索关键词: | 一种 flume sparkstreaming 整合 方法 系统 | ||
【主权项】:
一种Flume与SparkStreaming整合的方法,其特征在于,具体包括以下步骤:步骤1:下载可供代码正常运行的插件包;步骤2:修改Flume的配置信息,指定端口;步骤3:Flume与SparkStreaming通过设置的端口进行数据交互,SparkStreaming应用插件包对得到的变化数据并进行分析处理,得到分析结果。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京思特奇信息技术股份有限公司,未经北京思特奇信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610232612.2/,转载请声明来源钻瓜专利网。