|
钻瓜专利网为您找到相关结果 4个,建议您 升级VIP下载更多相关专利
- [发明专利]一种大数据海量数据秒级查询方法、装置及计算机介质-CN202111351597.0在审
-
王锦胤;马绍桐
-
紫金诚征信有限公司
-
2021-11-15
-
2022-03-04
-
G06F16/2455
- 本发明提供一种大数据海量数据秒级查询方法、装置及计算机介质,涉及计算机技术领域,所述方法包括:识别待查询目标文本的字段中数据量大的字段;排除所述的识别出的数据量大的字段,将剩余字段的字段信息存入ES中;将待查询目标文本的所有字段都存入Hbase;在hive中创建hive与ES、hive与Hbase的映射外表;通过向hive映射外表加载数据实现将hive数仓数据写入ES和Hbase;根据条件检索数据ID,ES返回数据ID;根据ID查询Hbase中响应的记录;返回查询结果,解决了当目标查询文件字段的信息量较大,对前端应用服务器的查询响应造成影响;ES查询数据较慢,做不到秒级的查询,影响用户的使用感受并且数据都存在ES上,增加了ES集群的压力,提高了ES集群的维护成本的问题。
- 一种数据海量查询方法装置计算机介质
- [发明专利]数据管理方法、装置及存储介质-CN202111152006.7在审
-
王锦胤;马绍桐
-
紫金诚征信有限公司
-
2021-09-29
-
2022-01-07
-
G06F16/215
- 本发明提供一种数据管理方法、装置及存储介质,包括:将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对,得到ODS数据增量分区表和/或ODS数据减量分区表;基于ODS数据增量分区表和/或ODS数据减量分区表对ODS全量数据更新处理生成新的ODS全量数据;对ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表;基于DWD数据增量分区表和/或DWD数据减量分区表对原始的DWD全量数据更新处理生成新的DWD全量数据;对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表;将DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送。
- 数据管理方法装置存储介质
|