[发明专利]一种兼容实时和离线数据处理的存储架构方法在审
| 申请号： | 202110351083.9 | 申请日： | 2021-03-31 |
| 公开（公告）号： | CN113051275A | 公开（公告）日： | 2021-06-29 |
| 发明（设计）人： | 刘跃红;管正爽;周小润 | 申请（专利权）人： | 银盛支付服务股份有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/23;G06F16/25;G06F16/27 |
| 代理公司： | 深圳市深可信专利代理有限公司 44599 | 代理人： | 黄蕴丽 |
| 地址： | 518000 广东省深圳市龙华*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种兼容实时和离线数据处理的存储架构方法，包括以下的步骤：S1、将源端的各个单表同步至对应的Mongodb集群中；S2、将Mongodb集群中更新的数据，根据最后更新时间LastUpdateTime，每t分钟更新至ClickHouse集群，t的值根据业务需求设置，LastUpdateTime是所有数据中都存在的一个字段，当数据有更新时，该字段会被更新为当前系统时间；S3、采用同步工具，根据LastUpdateTime时间，将Mongodb集群中的数据按T+1同步至CDH集群，T+1即延迟一天。满足实时数据的聚合计算性能需求，实现了实时增量数据和离线数据的存储。 | ||
| 搜索关键词： | 一种 兼容 实时 离线 数据处理 存储 架构 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于银盛支付服务股份有限公司，未经银盛支付服务股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110351083.9/，转载请声明来源钻瓜专利网。
