[发明专利]湖仓一体系统在审
申请号: | 202211736751.0 | 申请日: | 2022-12-30 |
公开(公告)号: | CN116166191A | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 王维峰 | 申请(专利权)人: | 中国电信股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/28 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一体 系统 | ||
1.一种湖仓一体系统,其特征在于,包括:
存储计算模块,所述存储计算模块包括:计算单元和湖仓统一存储单元;
所述湖仓统一存储单元是将数据仓库和数据湖融合后形成的,用于进行数据存储;
所述计算单元用于进行数据计算。
2.根据权利要求1所述的湖仓一体系统,其特征在于,所述计算单元包括:云原生计算资源单元;
所述云原生计算资源单元用于对第一数据进行聚合快照处理,得到第一快照数据,所述第一快照数据用于索引第一数据信息,所述第一数据信息包括:所述第一数据的位置信息和内容信息。
3.根据权利要求2所述的湖仓一体系统,其特征在于,所述计算单元还包括:汇总单元;
所述汇总单元包括:汇总层、中间层和整合层;
所述汇总层用于存储指标率数据和标签率数据。
4.根据权利要求1所述的湖仓一体系统,其特征在于,还包括:数据源模块和数据采集模块;
所述数据采集模块包括:实时入湖单元和数据文件单元;
所述数据文件单元用于将所述数据源模块中的数据文件传输至所述实时入湖单元;
所述实时入湖单元用于将所述数据文件进行数据处理后传输至所述湖仓统一存储单元。
5.根据权利要求4所述的湖仓一体系统,其特征在于,所述数据采集模块还包括:日志采集单元;
所述日志采集单元用于通过采集工具获取日志数据,并将所述日志数据生成消息数据,并将所述消息数据传输至所述实时入湖单元;
所述实时入湖单元还用于将所述消息数据进行数据处理后传输至所述湖仓统一存储单元。
6.根据权利要求5所述的湖仓一体系统,其特征在于,所述日志采集单元还用于将所述消息数据传输至所述计算单元中的实时分析单元;
所述实时分析单元用于实时分析所述消息数据。
7.根据权利要求1所述的湖仓一体系统,其特征在于,还包括:数据服务模块;
所述数据服务模块包括:实时消息单元;
所述实时消息单元用于获取附加条件,并根据所述附加条件进行数据筛选。
8.根据权利要求1所述的湖仓一体系统,其特征在于,还包括:平台管理模块;
所述平台管理模块用于进行数据显示和数据告警。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211736751.0/1.html,转载请声明来源钻瓜专利网。