[发明专利]一种基于Spark Streaming的动态更新共享数据方法在审
| 申请号： | 202110043173.1 | 申请日： | 2021-01-13 |
| 公开（公告）号： | CN112559227A | 公开（公告）日： | 2021-03-26 |
| 发明（设计）人： | 齐博 | 申请（专利权）人： | 贵州省广播电视信息网络股份有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F8/656;G06F16/2455 |
| 代理公司： | 贵州启辰知识产权代理有限公司 52108 | 代理人： | 赵彦栋;葛歆玮 |
| 地址： | 550081 贵州*** | 国省代码： | 贵州;52 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark Streaming的动态更新共享数据方法，就Spark而言，大变量都会由Driver端来进行分发，这个大变量如果不是广播变量，那每一个task就会分发一份出来，这在task数目在十分多的情况下Driver端的带宽就会成为系统瓶颈，而且还会大量消耗task服务器的资源，我们如果将这个变量声明为广播变量，那么每个executor都会拥有一份，这个executor启动的task会共享变量，节省了通信的成本和服务器的资源。而在更需要资源的Spark Streaming中，广播变量无非是将大变量传递给executor端最好的选择，但是流式程序启动之后无法在进行更新广播变量，优势在于，不需要重启程序则完成动态的更新，解决生产线上需要重启的弊端。 | ||
| 搜索关键词： | 一种 基于 spark streaming 动态 更新 共享 数据 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于贵州省广播电视信息网络股份有限公司，未经贵州省广播电视信息网络股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110043173.1/，转载请声明来源钻瓜专利网。
