[发明专利]一种提升Flink实时计算框架数据处理效率的方法在审
| 申请号： | 202111471776.8 | 申请日： | 2021-12-06 |
| 公开（公告）号： | CN114385348A | 公开（公告）日： | 2022-04-22 |
| 发明（设计）人： | 张璐波;王全福;谢巍盛 | 申请（专利权）人： | 天翼电子商务有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 102200 北京市昌平*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 提升 flink 实时 计算 框架 数据处理 效率 方法 | ||
【权利要求书】：
1.一种提升Flink实时计算框架数据处理效率的方法，其特征在于，包括以下步骤：
S1.检测Kafka分区个数是否大于flink申请task实例个数；
S2.Flink task任务再均衡优化；
通过Flink任务再均衡方法，可以显著提高实时计算的吞吐量并降低端到端的处理时延，避免flink在数据处理阶段存在较多的cpu浪费；以下将对每个步骤的实现过程做详细说明：
(1)Flink JobManager获取待读取Kafka分区信息及Flink任务并行度；
(2)若kafka partitions＝flink parallelism，flink按模型a,c处理；否则进入步骤(3)；
(3)对预读取的Kafka分区按待处理数据量大小进行排序，并计算分区数据量中位数及每个分区数据量与中位数的比值N(不够整数则向上取整数)；
(4)对于每个kafka分区预分配一个Flink task,保证至少有一个task去处理对应分区的数据；
(5)对于剩余的flink task实例，按数值N划分给对应的Kafka分区。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天翼电子商务有限公司，未经天翼电子商务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202111471776.8/1.html，转载请声明来源钻瓜专利网。
