“分布式数据仓库”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果7014177个，建议您升级VIP下载更多相关专利

[发明专利]分布式数据仓库监控方法、装置、电子设备和存储介质-CN201710025683.X在审
发明人：孙冬 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2017-01-13 - 公布日： 2018-07-20 - 主分类号： G06F17/30 文献下载
摘要：本申请提供了一种分布式数据仓库监控方法，该方法包括：当监控周期开始时，按照配置的监控列表中的监控内容对分布式数据仓库进行监控；当任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。基于同样的发明构思，本申请还提出一种分布式数据仓库监控装置、电子设备和存储介质，在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。
分布式数据仓库监控内容源系统监控存储介质电子设备一致性判断告警发明构思方式显示监控周期监控装置节省资源数据一致不一致配置的影响源申请

[发明专利]一种基于城市大脑的数据仓库系统-CN202110173925.6在审
发明人：梁鹏飞;李晓东;崔师龙;王崟乐 -专利权人：中关村科学城城市大脑股份有限公司
申请日： 2021-02-09 - 公布日： 2021-03-19 - 主分类号： G06F16/25 文献下载
摘要：本发明实施例提供一种基于城市大脑的数据仓库系统，包括：基于Hadoop的分布式文件系统、数据ETL、五层数据仓库、在线联机分析处理、基于Hadoop的分布式计算引擎和元数据；本发明采用基于Hadoop的分布式文件系统和计算引擎，构建分布式数据仓库系统，对多元异构数据进行存储，统一处理和分析；对数据仓库进行合理的分层，提升数据的复用率，基本保证数仓中本层的数据依赖于上一层的数据获取，避免每次新需求的出现都带来重复的工作量。
一种基于城市大脑数据仓库系统

[发明专利]基于Hadoop的分布式数据仓库的构建方法-CN202210093431.1在审
发明人：荀皓;冯瑞 -专利权人：复旦大学
申请日： 2022-01-26 - 公布日： 2022-05-13 - 主分类号： G06F16/28 文献下载
摘要：本发明提供一种基于Hadoop的分布式数据仓库的构建方法，其中，Flume用于对目标数据进行采集，Hive用于对采集得到的数据进行计算，从而形成离线的、分布式的数据仓库，Zookeeper用于对数据仓库的各类组件进行协调服务，并且数据仓库基于预定的分层模型被分为了多层，因此，通过本发明的构建方法，能够基于Hadoop文件系统搭建离线的、分布式的数据仓库，并且通过对数据仓库进行分层，能够将原始的杂乱无章的大量数据进行聚合整理，并可根据业务需要得到多个数据指标，从而能够使大型企业更方便、高效地对其海量数据进行有效的管理。
基于 hadoop 分布式数据仓库构建方法

[发明专利]分布式互联网交易信息存储处理方法-CN201510302559.4有效
发明人：陈海江;吕浩;邵奇可;颜世航 -专利权人：浙江力石科技股份有限公司
申请日： 2015-06-04 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种分布式互联网交易信息存储处理方法，包括：操作数据存储功能模块从外部数据层抽取结构化的交易信息数据；分布式数据仓库和非关系型数据库分别从分布式文件系统中读取非结构化的网络日志数据；互联网交易信息数据仓库从所述操作数据存储功能模块和所述分布式数据仓库中分别抽取转换加载所述交易信息数据和网络日志数据后进行整合为数据元组，并以星型模型存储该数据元组；数据集市从所述互联网交易信息数据仓库，和/或所述分布式数据仓库中抽取转换加载集市指定数据；商业智能系统根据数据分析需要从所述数据集市，和/或所述非关系型数据库中获取分析所需数据本发明针对互联网交易数据分析处理的应用场景。
分布式互联网交易信息存储处理方法

[发明专利]一种智能驾驶数据仓库设计方法及数据仓库-CN202310217751.8在审
发明人：张彦 -专利权人：宁波路特斯机器人有限公司
申请日： 2023-03-08 - 公布日： 2023-06-23 - 主分类号： G06F16/21 文献下载
摘要：本发明提供了一种智能驾驶数据仓库设计方法及数据仓库，属于数据仓库技术领域。该设计方法包括：引入智能驾驶过程中的数据并解析成相应的数据存储文件并存入云存储器；将存有非结构化数据的数据存储文件根据预设规则处理为通用格式的非结构化文件和相应的元数据，并将非结构化文件存入云存储器，元数据存入分布式文件系统，同时将存有结构化数据的数据存储文件通过ETL工具处理后存入分布式文件系统；根据智能驾驶业务需求对分布式文件系统内的数据进行不同层次的多次汇总并形成各个数据集，以供智能驾驶算法单元使用。本发明的智能驾驶数据仓库设计方法能够在不影响分布式文件系统的性能的基础上能够通过分布式文件系统搭建智能驾驶数据仓库。
一种智能驾驶数据仓库设计方法

[发明专利]分布式数据同步到数据仓库的方法及装置-CN200910252471.0有效
发明人：李学升 -专利权人：阿里巴巴集团控股有限公司
申请日： 2009-12-11 - 公布日： 2011-06-15 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式数据同步到数据仓库的方法及装置，用以解决现有技术提供的方案中，数据仓库中表的维护数量和难度较大，同步流程复杂，耗费时间长，可靠性低的问题。分布式数据同步到数据仓库的方法，包括：将分布式数据库的每一个分表中的增量数据导出为文本，并对应生成文本文件；将各文本文件中的文本导入到数据仓库的增量表中；根据特定的分表规则将增量表中的全部增量数据合并到数据仓库的汇总表中，所述分表规则是指将集中式数据库的大表中存储的全部数据划分到分布式数据库的多个分表中时所遵循的规则。
分布式数据同步数据仓库方法装置

[发明专利]分布式数据仓库中的数据更新方法和装置-CN201510254402.9有效
发明人：孙冬;董月红 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2015-05-18 - 公布日： 2018-04-13 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种分布式数据仓库中的数据更新方法和装置。该方法包括设置分布式数据仓库的数据模型的初始版本号；设置分布式数据仓库中的原始数据表的初始版本号；在源系统升级过程中，抓取对应的更新数据以及更新数据所属的源数据表的名称，确定源系统的升级类型和升级序号；将更新数据输入数据模型得到当前更新后的数据表；根据所述名称，确定分布式数据仓库中对应的原始数据表的名称，作为当前更新后的数据表的名称；根据数据模型的初始版本号以及升级序号，设置数据模型的当前版本号；根据数据模型的当前版本号以及升级类型，设置当前更新后的数据表的当前版本号，可确定分布式数据仓库中对应数据表的每次动态更新过程和源系统的升级类型。
分布式数据仓库中的数据更新方法装置

[发明专利]一种用于多媒体研发培训平台的海量数据处理系统-CN201811073169.4在审
发明人：江游;黄莉苹;牛军丽;黄伟;黄亚光 -专利权人：深圳市新一代信息技术研究院有限公司
申请日： 2018-09-14 - 公布日： 2019-03-01 - 主分类号： G06F16/28 文献下载
摘要：本发明公开了一种用于多媒体研发培训平台的海量数据处理系统，其包括：调度模块，用于根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，根据所述调用顺序向数据仓库平台调用数据仓库操作语句；所述数据仓库平台，用于根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台；所述关系数据库，用于存储所述数据仓库操作语句对应的配置信息；分布式平台，用于存储所述数据和所述结果数据。本发明增强了海量数据处理的灵活性，较好地满足了大容量、高可靠性、高稳定性以及满足海量数据处理要求。
数据仓库海量数据处理语句分布式平台存储调用调度策略结果数据培训平台业务信息研发预设多媒体关系数据库仓库操作调度模块调用数据高可靠性高稳定性配置信息平台调用顺序触发大容量运算

[发明专利]一种基于分布式数据仓库的社保数据联机分析处理系统-CN201610452790.6在审
发明人：张星明;丛子涵;刘俊;古振威 -专利权人：华南理工大学
申请日： 2016-06-20 - 公布日： 2016-11-16 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于分布式数据仓库的社保数据联机分析处理系统，包括与多维分析服务器进行交互的展示层；对MDX语句进行解析，并使用解析后的语句执行查询计算的维度层；对聚集结果的缓存进行管理的星状层；负责接收星状层发出的SQL语句，在数据仓库中执行，并将结果返回的存储层。本发明系统的数据仓库通过分布式文件系统实现，而分布式文件系统集群由云计算平台统一管理，实现资源的负载均衡。系统通过功能上的多层分发，实现了对存储海量数据的分布式数据仓库的统一查询接口，以类似JDBC的查询方式，完成对于数据立方体多个维度的操作。
一种基于分布式数据仓库社保数据联机分析处理系统

[发明专利]一种基于WEB分析的分布式处理方法和系统-CN200910158340.6无效
发明人：李存刚;鲁雪林;张渔;冯帅;崇晓云 -专利权人：北京黑米世纪信息技术有限公司
申请日： 2009-07-07 - 公布日： 2009-11-18 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于WEB分析的分布式处理方法和系统，包括：数据农场、数据加工厂、分布式数据仓库和数据呈现中心四个工作模块。本发明的核心思想是：(1)数据农场从多种数据源采集顾客数据；(2)将这些海量的顾客原始数据并行写入分布式数据仓库中；(3)数据加工厂从分布式数据仓库中读出顾客原始数据，进行并行计算和二次处理；(4)二次处理后的结果数据回写到分布式数据仓库中；(5)数据呈现中心利用并行查询技术，让使用者方便地通过WEB查看原始数据和二次处理后的数据。本发明可以针对海量的WEB营销数据进行高效处理，在高效性、可靠性、扩展性和可管理性等方面都有所突破，可应用于互联网WEB分析等领域。
一种基于 web 分析分布式处理方法系统

[发明专利]一种面向分布式数据仓库的加载客户端实现方法-CN201610849787.8有效
发明人：王宇;徐晓燕;周渊;刘利宏;刘庆良;郑彩娟;黄成;王振宇;李斌斌;周游 -专利权人：北京赛思信安技术股份有限公司;国家计算机网络与信息安全管理中心
申请日： 2016-09-26 - 公布日： 2019-11-01 - 主分类号： G06F16/25 文献下载
摘要：本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。
一种面向分布式数据仓库高效加载客户端实现方法

[发明专利]一种可验证声明的存储方法、装置及设备-CN202010277236.5有效
发明人：杨仁慧 -专利权人：支付宝（杭州）信息技术有限公司
申请日： 2020-04-10 - 公布日： 2020-08-07 - 主分类号： G06F21/60 文献下载
摘要：方案包括：用于存储可验证声明的数据仓库获取可验证声明存储请求，并获取该请求的发送方的分布式数字身份标识，根据发送方的分布式数字身份标识可以判断发送方是否具有数据仓库的使用权限；如果发送方具有数据仓库的使用权限，就可以将发送方请求存储的可验证声明存储至数据仓库的数据库。
一种验证声明存储方法装置设备

[发明专利]一种智能用户体验信息收集系统-CN202210372671.5在审
发明人：黄华围 -专利权人：深圳市墨默交互科技有限公司
申请日： 2022-04-11 - 公布日： 2022-07-29 - 主分类号： G06F16/26 文献下载
摘要：本发明公开了一种智能用户体验信息收集系统，包括日志收集模块、消息引擎模块、数据仓库模块与数据可视化模块；所述日志收集模块包括拦截器配置、多线程日志收集与日志收集模块的实现；所述消息引擎模块包括消息引擎模块配置优化与消息引擎模块的实现；所述数据仓库模块包括数据仓库架构设计、数据仓库模块设计与数据仓库分层设计。本发明提出了一种基于Flume的分布式日志收集模块,该模块具有可扩展性，多线程和分布式的特点，解决了收集实时分布式日志数据的问题，除此之外，与以往不同的是，在数据收集之后立即进行数据过滤清洗，过滤脏数据，减少了不必要的数据传输，降低了数据传输的成本。
一种智能用户体验信息收集系统

[发明专利]一种分布式数据仓库的管理方法及系统-CN201710228031.6有效
发明人：方锦亮;郑礼雄;赵重庆;刘军;邓飞 -专利权人：腾讯科技（深圳）有限公司
申请日： 2017-04-10 - 公布日： 2022-04-12 - 主分类号： G06F16/27 文献下载
摘要：本申请公开了一种分布式数据仓库的管理方法和系统。该方法包括：设置血缘关系数据库，用于存储数据处理任务与数据仓库中的数据之间的血缘关系；获得所述数据仓库在把数据处理任务的代码转换为数据处理作业时得到的任务与数据的访问关系；从所述访问关系中提取出符合预设规则的数据信息和任务信息，将所述数据信息和所述任务信息存储到所述血缘关系数据库中的关系链中；根据所述血缘关系数据库中的关系链对所述数据仓库中的数据进行管理。本申请的方案可以获得准确的分布式数据仓库中数据和任务的血缘关系，利用该血缘关系进行数据仓库的管理可以提高数据仓库的工作效率。
一种分布式数据仓库管理方法系统

[发明专利]一种在分布式学术数据仓库中检测热点学术研究话题的方法-CN202010938852.0有效
发明人：戴海鹏;陈贵海;李猛;汪笑宇;夏瑞;谢榕彪;于俊 -专利权人：南京大学
申请日： 2020-09-09 - 公布日： 2023-08-22 - 主分类号： G06F40/289 文献下载
摘要：一种在分布式学术数据仓库中检测热点学术研究话题的方法，包括在分布式数据仓库中的数据数据采样压缩编码，传输阶段，以及中央服务器上的数据恢复和检测阶段；数据采样压缩编码对每个从学术文档中提取出的学术词进行多重采样决定是否进入组内每个编码型布谷鸟过滤器，成功采样的词汇将进入数据编码阶段；数据压缩编码阶段负责在每个分布式数据仓库中扫描所有的文档，并利用分词器从文档中提取学术研究词汇；数据传输阶段负责将每个分布式数据仓库中记录压缩数据的编码型布谷鸟过滤器传输至中央服务器；数据恢复和检测阶段是在中央服务器上将从各个分布式数据集上构建起来编码布谷鸟过滤器中解码恢复出原始词汇并估算其热度。
一种分布式学术数据仓库检测热点学术研究话题方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条