[发明专利]基于流式计算框架的多线程数据处理方法、装置和介质有效
申请号: | 202011618342.1 | 申请日: | 2020-12-31 |
公开(公告)号: | CN112286582B | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 王秀双;马旭东;赵玉红;李良敏;赵春波 | 申请(专利权)人: | 浙江岩华文化科技有限公司 |
主分类号: | G06F9/38 | 分类号: | G06F9/38 |
代理公司: | 杭州华进联浙知识产权代理有限公司 33250 | 代理人: | 范丽霞 |
地址: | 313200 浙江省湖州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请涉及一种基于流式计算框架的多线程数据处理方法、装置和存储介质,通过基于预先设置的第一水位线触发目标窗口处理数据切片,得到第一处理结果;若未被处理的数据切片中存在事件时间戳小于目标窗口的结束时间戳的迟滞数据切片,则记录流式计算框架接收迟滞数据切片的系统时间戳;设置第二水位线,其中,第二水位线的延迟时间不小于迟滞数据切片的系统时间戳与目标窗口的结束时间戳之差;基于第二水位线重新触发目标窗口处理数据切片,得到第二处理结果,并根据第二处理结果校正第一处理结果,解决了基于流式计算框架的计算结果不准确的问题,在保证一定数据处理时效性的情况下,提升了计算结果的准确度。 | ||
搜索关键词: | 基于 计算 框架 多线程 数据处理 方法 装置 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江岩华文化科技有限公司,未经浙江岩华文化科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011618342.1/,转载请声明来源钻瓜专利网。