“数据仓库设计”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果8979564个，建议您升级VIP下载更多相关专利

[发明专利]一种基于Hive的高校数据仓库分层设计方法-CN201811098136.5在审
发明人：杨连群 -专利权人：北京桃花岛信息技术有限公司
申请日： 2018-09-20 - 公布日： 2019-01-11 - 主分类号： G06F16/21 文献下载
摘要：本发明涉及一种基于Hive的高校数据仓库分层设计方法，包括：获取数据，使用ETL工具进行数据抽取，将获取的结构化、非结构化数据同步到Hive平台上；使用Hive构建数据仓库，将数据仓库分为ODS数据存储层、DWD数据明细层、DW数据汇总层、DWA数据应用层；数据仓库建模，确定分析主题，使用维度建模法，使用最小粒度设计维表，设计事实表；设计事实表，分为事实表‑非分区表，和分区事实表。本发明提出的数据仓库分层设计相比其他大数据仓库设计三层分析处理更灵活，可扩展性强，后期可根据业务需求增加相应的分析主题，将Hive大数据平台优点和数据仓库星型模型设计方法高效地结合起来。
数据仓库事实表分层设计大数据非结构化数据数据存储层数据汇总层数据应用层获取数据可扩展性模型设计三层分析数据抽取业务需求最小粒度分区表建模法结构化构建建模维度星型分区分析仓库灵活

[发明专利]一种基于历史数据集的工业实时数据仓库及其构建方法-CN202211654934.8在审
发明人：张思俊;陈欣;黄勇;陈吉鑫;华越 -专利权人：中电九天智能科技有限公司
申请日： 2022-12-22 - 公布日： 2023-06-13 - 主分类号： G06F16/28 文献下载
摘要：本发明公开了一种基于历史数据集的工业实时数据仓库及其构建方法，属于数据处理技术领域，能够高效的构建数据仓库的模型，并提供对数据仓库的数据进行异构与加载的方法。一种基于历史数据集的工业实时数据仓库构建方法，包括以下步骤：对历史数据集进行定义；基于历史数据集定义，构建工业数据仓库原始数据层；基于历史数据集定义，构建DV模型的数据仓库明细数据层；基于历史数据集定义，生成数据仓库原始数据层到数据仓库明细数据层的实时数据装载数据流。本发明通过历史数据集定义，统一工业产品历史数据的存储格式，简化数据仓库原始数据层的数据结构设计。
一种基于历史数据工业实时数据仓库及其构建方法

[发明专利]基于敏捷数据仓库的运维系统及方法-CN201810298221.X在审
发明人：王洋;孙佳亮;杜斌 -专利权人：中建材信息技术股份有限公司;中建材信云智联科技有限公司
申请日： 2018-04-03 - 公布日： 2019-07-16 - 主分类号： G06F16/21 文献下载
摘要：本发明涉及一种基于敏捷数据仓库的运维系统及方法。该系统包括括：敏捷数据仓库，用于储存应用数据,采用MongoDB搭建技术平台；系统控制器，包括：后台模块，用于对原始数据源进行数据转换，存储在分布式文件系统ceph中，建立数据源，并从中抽取所需数据，通过Spark进行清洗处理、数据分析建模并加载到敏捷数据仓库中，与敏捷数据仓库进行数据交互；监控模块，用于对系统的数据活动进行监控；管理模块，用于对所述数据仓库进行管理。本系统可以不用单独维护数据仓库，而直接维护运维系统；且现有的软件应用亦可继续使用，不需要迁移到新的敏捷数据仓库中，节省了设计和构建数据仓库时所需的研发成本、时间成本和经济成本。
数据仓库运维系统分布式文件系统数据分析建模系统控制器现有的软件原始数据源储存应用管理模块后台模块技术平台监控模块经济成本清洗处理时间成本数据活动数据交互数据转换维护数据数据源构建加载研发抽取存储仓库迁移监控应用维护管理

[发明专利]数据仓库的优化方法、装置、电子设备及存储介质-CN202310136689.X在审
发明人：徐滔 -专利权人：平安科技（深圳）有限公司
申请日： 2023-02-09 - 公布日： 2023-06-06 - 主分类号： G06F16/21 文献下载
摘要：本发明涉及大数据技术领域，提供一种数据仓库的优化方法、装置、电子设备及存储介质，所述方法包括：响应于接收的异常监测请求，获取待监测的数据仓库；按照每个业务条线，采用多个预设指标对对应子数据仓库进行健康分析；根据所述多个预设指标的多个健康分析结果，计算对应子数据仓库的健康度；根据计算得到的每个子数据仓库的健康度，监测对应子数据仓库；根据多个子数据仓库返回的多个监测结果，对所述数据仓库进行优化。本发明通过采用多个预设指标对数据仓库中各个业务条线的子数据仓库进行健康分析，实现数据仓库的统一管理，提高了数据仓库的优化效率。
数据仓库优化方法装置电子设备存储介质

[发明专利]一种构建数据仓库表血缘关系图的方法和装置-CN201410072773.0有效
发明人：陈武;刘超洪 -专利权人：珠海多玩信息技术有限公司
申请日： 2014-02-28 - 公布日： 2017-08-01 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种构建数据仓库表血缘关系图的方法和装置，属于计算机领域。该方法包括解析访问数据仓库的每个数据仓库操作语句，得到每个数据仓库操作语句访问的数据仓库目的表的表名；将每个数据仓库操作语句的语句标识与访问的数据仓库目的表的表名的对应关系存储在对应关系表中；根据对应关系表，获取对应关系表中的每个数据仓库目的表对应的数据仓库来源表的表名；根据每个数据仓库目的表的表名和每个数据仓库目的表对应的数据仓库来源表的表名，构建数据仓库表血缘关系图。本发明中服务器能够自动构建数据仓库血缘关系图。
一种构建数据仓库血缘关系方法装置

[发明专利]一种基于可视化的大数据仓库设计方法及系统-CN201811384906.2在审
发明人：王川;王纯斌;陈佳伟;张杰梁 -专利权人：成都四方伟业软件股份有限公司
申请日： 2018-11-20 - 公布日： 2019-04-26 - 主分类号： G06F16/21 文献下载
摘要：本发明公开了一种基于可视化的大数据仓库设计方法及系统，方法包括如下步骤：通过可视化操作界面维护建库建表信息；将建库建表信息提交给JAVA服务单元；JAVA服务单元根据服务接口类型确定具体操作类型；将建库建表信息封装为Hive数据仓库可执行命令；将JAVA服务单元连接到HiveServer2服务；提交可执行命令到Hive数据仓库；在Hive数据仓库中执行命令，创建数据库或数据表。提供可视化的建库建表数据维护界面，基于hive+hbase的方式创建数据仓库数据表，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，实现大数据仓库中数据表的关系建立
大数据数据仓库建库仓库服务单元表信息可视化设计方法及系统可执行命令删除可视化操作界面操作类型服务接口关系建立表数据创建封装数据库维护服务

[发明专利]一种解耦合的弹性数据仓库架构-CN201910362554.9在审
发明人：伍浩文;白童心;须成忠 -专利权人：中国科学院深圳先进技术研究院
申请日： 2019-04-30 - 公布日： 2019-08-23 - 主分类号： G06F16/21 文献下载
摘要：本发明涉及数据仓库领域，具体涉及一种解耦合的弹性数据仓库架构。包括：数据仓库前端，用于使用PostgreSQL作为数据仓库前端的基础，处理进出数据、提供控制和查询用户界面及管理底层存储；数据仓库后端，用于可扩展和弹性的资源管理、单个或并发查询；分离数据仓库中间件，用于使用Dex协调数据仓库前端和数据仓库后端之间的消息传递和数据传输。通过将数据管理和数据计算功能相分离，以实现独立的可扩展性，探索了云的弹性数据仓库体系结构。数据仓库前端接收数据、管理存储并提供高可用性。数据仓库后端用于数据分析的查询。通过分离数据管理和数据计算，本发明可以在单一的数据仓库中获得弹性。
数据仓库弹性数据仓库数据管理数据计算解耦合查询架构分离数据高可用性管理存储可扩展性前端接收数据传输数据分析体系结构消息传递用户界面资源管理弹性的功能相可扩展中间件并发存储探索协调管理

[发明专利]一种老年健康监护系统用数据及资源存储层-CN201810757461.1在审
发明人：张恺鸿 -专利权人：安徽捷峰电子科技有限公司
申请日： 2018-07-11 - 公布日： 2019-01-18 - 主分类号： G06F16/245 文献下载
摘要：本发明属于健康监护技术领域，具体涉及一种老年健康监护系统用数据及资源存储层，包括统一用户数据仓库和应用数据仓库，所述统一用户数据仓库和应用数据仓库均为固态硬盘或机械硬盘，所述统一用户数据仓库输出端与应用数据仓库连接给其输送信号，所述统一用户数据仓库接收端、统一用户数据仓库接收端输出端和应用数据仓库输出端均设有信号传输模块，克服了现有技术的不足，采用二个独立的硬盘来分别作为统一用户数据仓库和应用数据仓库，利用数据整合中心将数据区分后存储到统一用户数据仓库和应用数据仓库，方便整个老年健康监护系统数据读取，原理简单，读取速度快。
仓库用户数据应用数据监护系统老年健康输出端统一资源存储接收端信号传输模块读取固态硬盘机械硬盘健康监护输送信号数据读取数据整合硬盘存储

[发明专利]一种数据仓库设计方法-CN202110086003.1在审
发明人：李永伟;崔乐乐 -专利权人：浪潮卓数大数据产业发展有限公司
申请日： 2021-01-22 - 公布日： 2021-04-30 - 主分类号： G06F16/21 文献下载
摘要：本发明特别涉及一种数据仓库设计方法。该数据仓库设计方法，先将不同类别的数据存储到不同的数据库分区，形成底层数据源；然后利用数据抽取工具将各类数据源数据完整的抽取到数据仓库统一存储空间，并实时抽取新增数据，实现数据仓库与数据库基本数据的初步汇总和实时同步；在数据仓库设计ODS层和DW层后，设计数据集市层，用于存储面向主题和数据分析应用的、高度汇总级别的数据；利用OLAP引擎多维分析数据库，将数据组织为多维的存储结构、面向数据分析应用的高性能支持环境，实现自定义报表和查询该数据仓库设计方法，实现了数据源分层汇总，使海量数据实现了从无序到有序的管理，能够为上层应用提供更为高效的数据服务，更好的发挥数据价值。
一种数据仓库设计方法

[发明专利]一种实现数据仓库向数据湖传输数据的系统及方法-CN202310361109.7在审
发明人：吴志雄;方彦栩;刘文浩 -专利权人：南威软件股份有限公司
申请日： 2023-04-06 - 公布日： 2023-06-30 - 主分类号： G06F16/28 文献下载
摘要：本发明涉及一种实现数据仓库向数据湖传输数据的系统，包括数据仓库和数据湖，数据仓库设有自定义算法服务器和智能预加载引擎，所述自定义算法服务器用于计算预加载方式；所述智能预加载引擎根据自定义算法服务器计算的预加载方式将数据仓库服务器中的数据预加载到数据湖中，并记录每次调用数据仓库的日志信息；数据湖设有上数据仓库预加载数据服务、数据仓库索引服务，所述数据仓库预加载数据服务用于存储从数据仓库服务器预加载到数据湖中的数据；所述数据仓库索引服务用于提供索引查询，并从数据仓库预加载服务或数据仓库服务器中获取数据，以传送到数据湖服务器中。本发明采用智能预加载的方式提前加载数据，可以实现数据的快速传输。
一种实现数据仓库数据传输系统方法

[发明专利]数据库同步到数据仓库的方法、装置和电子装置-CN202111510723.2在审
发明人：顾伟涛;王跃剑;曹彩鹏;周游;刘培锴;陈斐 -专利权人：杭州浮云网络科技有限公司
申请日： 2021-12-10 - 公布日： 2022-03-15 - 主分类号： G06F16/23 文献下载
摘要：本申请涉及一种数据库同步到数据仓库的方法、装置和电子装置，其中，该数据库同步到数据仓库的方法包括：获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。通过本申请，解决了相关技术中存在数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的技术问题，提高了数据库同步到数据仓库的效率。
数据库同步数据仓库方法装置电子

[发明专利]一种数据仓库的测试方法、装置及设备-CN202210720015.X在审
发明人：王弄笛;姚晓磊;吴猛;胡盼盼;张海霞 -专利权人：中国银行股份有限公司
申请日： 2022-06-23 - 公布日： 2022-10-18 - 主分类号： G06F11/36 文献下载
摘要：本申请公开了一种数据仓库的测试方法、装置及设备，可应用于分布式领域或金融领域。该方法包括：获取待测数据仓库对应的待测数据仓库模型；根据所述待测数据仓库模型，获取所述待测数据仓库的元数据信息；根据所述待测数据仓库模型，获取所述待测数据仓库的血缘关系信息；将测试数据输入所述待测数据仓库，使所述待测数据仓库进行调度并生成各层模型表的数据；根据所述元数据信息和/或所述血缘关系信息拼接成测试脚本，使待测数据仓库各个测试点都有对应的测试脚本进行测试；针对所述各层模型表的数据，执行所述测试脚本如此，使数据仓库各个测试点都有对应的测试脚本进行自动测试，提高了对数据仓库全面测试的测试效率。
一种数据仓库测试方法装置设备

[发明专利]数据处理方法、装置、计算机可读介质及计算机程序产品-CN202211084147.4在审
发明人：丁先 -专利权人：中国银行股份有限公司
申请日： 2022-09-06 - 公布日： 2022-11-11 - 主分类号： G06F16/28 文献下载
摘要：本申请公开一种数据处理方法、装置、计算机可读介质及计算机程序产品，该方法利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据，将贴源数据加载至混合数据仓库架构中的第二数据仓库进行加工处理，并将加工结果数据传输至第一数据仓库，在第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；其中，第一数据仓库的数据存储与性能高于第二数据仓库，第一数据仓库的计算性能低于第二数据仓库通过融合不同方面分别各具性能优势的数据仓库，并充分发挥各仓库体系的优势功能，有效解决了扩容难度大、性能慢、数据类型多样数据难挖掘、数据合规要求严、安全维护成本高等问题。
数据处理方法装置计算机可读介质程序产品

[发明专利]数据仓库的质量检测方法和装置-CN202210420460.4在审
发明人：林新平 -专利权人：阿里巴巴新加坡控股有限公司
申请日： 2022-04-20 - 公布日： 2022-08-05 - 主分类号： G06F16/2458 文献下载
摘要：本说明书一个或多个实施例提供一种数据仓库的质量检测方法和装置，其中方法包括：采集数据仓库的元数据，所述元数据包括：所述数据仓库在运行过程中产生的运行数据；根据所述数据仓库的元数据，获取所述数据仓库的运行状态参数，所述运行状态参数用于表征所述数据仓库在运行过程中的数据使用状态；基于所述运行状态参数与所述数据仓库的运行状态目标值之间的差距，确定所述数据仓库的质量结果数据。
数据仓库质量检测方法装置

[发明专利]用于进行数据仓储的系统和方法-CN201110122321.5有效
发明人：克里斯托弗·R·贝尔;保罗·J·博得;马克·E·邓拉普 -专利权人：亚马逊科技公司
申请日： 2005-12-14 - 公布日： 2011-08-03 - 主分类号： G06F17/30 文献下载
摘要：一种用于实现数据仓储系统的系统和方法。根据第一实施例，一种系统可以包括：多个数据仓库；和数据仓库管理器，其被配置成从一个或更多个数据源提取数据集合以存储在所述多个数据仓库中的一个或更多个中。包括所述多个数据仓库中的两个或更多个数据仓库的第一子集中的每个数据仓库都被配置成存储由所述数据仓库管理器提取的第一数据集合的相应副本。此外，所述数据仓库管理器还可以被配置成在所述第一数据集合的每个相应副本被存储到所述第一子集中的对应数据仓库之前允许由数据仓库的所述第一子集中的一个数据仓库对依赖于所述第一数据集合的查询进行评估。
用于进行数据仓储系统方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条