“海量数据存储”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3373592个，建议您升级VIP下载更多相关专利

[发明专利]基于Hadoop架构的海量数据管理系统-CN201711491249.7在审
发明人：祁建明;周峻松;徐继峰;陈墩金 -专利权人：广州明领基因科技有限公司
申请日： 2017-12-31 - 公布日： 2019-07-16 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种基于Hadoop架构的海量数据管理系统，该系统包括：存储层模块、基础管理层模块以及应用层模块；其中，所述存储层模块由底层存储设备子模块与存储虚拟化管理子模块组成，负责海量异构数据的采集与管理；所述基础管理层模块是系统核心，负责实现所述存储层模块中不同区域间多个存储设备的协同工作，一体化对外提供服务；所述应用层模块利用所述基础管理层模块所提供数据为用户提供业务层面的统一界面。本发明方案利用了Hadoop架构的海量数据管理系统存储结果数据，提高了数据获取速度以及信息检索效率。
海量数据管理管理层模块存储层应用层模块架构存储设备对外提供服务存储虚拟化管理子模块结果数据数据获取统一界面系统存储系统核心信息检索业务层面异构数据用户提供子模块采集协同一体化管理

[发明专利]一种电力多维全景数据的预处理系统-CN201611247497.2有效
发明人：黄良;赵立进;吕黔苏;杨涛;吴建蓉;王波;陈思远;林刚;张亚茹;赵芳菲 -专利权人：贵州电网有限责任公司电力科学研究院
申请日： 2016-12-29 - 公布日： 2019-11-26 - 主分类号： G06F16/215 文献下载
摘要：本发明涉及一种电力多维全景数据的预处理系统，包括依次相连的数据清洗模块、数据存储与检索模块和数据的价值提取模块。本发明的电力对位全景数据的预处理方法生成系统，能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。
全景数据预处理预处理系统处理数据电力系统方法生成检索模块交互数据交易数据快速判断数据存储数据类型数据清洗提取模块提取数据依次相连有效处理对位多维

[发明专利]一种基于云计算的海量大数据安全云存储系统-CN202110240037.1在审
发明人：杨伟军 -专利权人：南京君酷网络科技有限公司
申请日： 2021-03-04 - 公布日： 2021-06-04 - 主分类号： G06F21/60 文献下载
摘要：本发明公开了一种基于云计算的海量大数据安全云存储系统，涉及云存储技术领域，包括顶云，所述顶云包括有公有云和私有云，所述公有云的输出端与私有云的接收端信号连接，所述私有云的输出端信号连接有大数据云基础平台本发明通过大数据云基础平台和数据库集群对用户上传的数据进行分隔存储，再利用大数据云存储数据库中的云计算服务器，将海量大数据进行安全压缩，同时进行解密，再利用公有云拓展存储空间，并对海量大数据进行存储，避免了传统存储系统或设备容易出现存储超负载的情况，使得存储数据难以最大限度的进行安全保存，导致用户数据的安全性降低，数据存储上限降低的问题，从而达到了提高用户数据的安全性和数据存储上限的效果。
一种基于计算海量数据安全存储系统

[发明专利]一种海量测量数据准实时入库方法-CN201510070227.8有效
发明人：亓朝玉;何信华;徐华丽;叶成敏;程博;赵雷;蔡剑波;连彦泽;韩亮;颜廷贵;蓝鲲;李世鹏;沈志军 -专利权人：北京宇航系统工程研究所;中国运载火箭技术研究院
申请日： 2015-02-10 - 公布日： 2017-12-22 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种海量测量数据准实时入库方法，通过海量测量数据准实时入库系统实现，该海量测量数据准实时入库系统包括数据服务子模块、数据处理子模块、参数定义子模块、数据库表映射子模块、网络通信子模块、IP配置子模块、数据库参数配置子模块、缓冲文件库和Oracle数据库，本发明针对海量数据入库的难题，创新设计了海量数据入库系统，通过系统中各个模块的并行协同工作，并采用批量入库的模式，实现了海量遥测数据的实时处理、存储，该方法显著提高了入库效率，实现了测量系统海量数据的快速、准确、可靠入库，有助于测量信息的集成统一管理。
一种海量测量数据实时入库方法

[发明专利]一种面向大规模海量数据的知识图谱构建方法和系统-CN202110677218.0在审
发明人：赵俊峰;王亚沙;徐涌鑫;杨恺;单中原;王子健;尹思菁 -专利权人：北京大学
申请日： 2021-06-18 - 公布日： 2022-04-08 - 主分类号： G06F16/21 文献下载
摘要：本发明公开了一种面向大规模海量数据的知识图谱构建方法和系统，方法包括：S100、基于docker‑compose和Apache Hadoop技术，采用Master‑Slave结构搭建各分布式集群，为图数据库提供分布式存储、索引和计算，各分布式集群包括分布式存储集群、分布式索引集群和分布式计算集群；S200、使用图数据库和文档型数据库对海量知识图谱数据进行联合存储与检索，实现海量知识图谱的构建。本发明通过docker‑compose技术实现集群的快速部署和可定制搭建，利用图数据库和文档型数据库各自在相关检索场景下的优势，大大提高海量数据背景下的知识图谱构建与检索效率。
一种面向大规模海量数据知识图谱构建方法系统

[发明专利]一种利用非关系数据库存储海量工业设备监测数据的方法-CN201310617021.3有效
发明人：王建民;刘英博;张力;钟雨 -专利权人：清华大学
申请日： 2013-11-28 - 公布日： 2014-03-12 - 主分类号： G06F17/30 文献下载
摘要：发明涉及一种利用非关系数据库存储海量工业设备监测数据的方法，属于计算机数据库管理技术领域。首先使多个非结构化数据管理系统组成分布式结构的非关系数据库集群，从关系数据库中读取海量工业设备监测数据，并将读取的监测数据以逗号分隔的文本文件形式存储到多台客户机中，建立一个非关系数据库存储模式，将客户机上的上述以逗号分隔的文本文件导入到非关系数据库集群中本方法能够有效存储海量的设备监测数据，并支持快速数据查询与分析，使得企业能够对海量监测数据进行查询和分析，挖掘监测数据中具有商业价值的信息，最终达到对工业生产的设计、制造、销售、使用与维护等方面提供借鉴的目的
一种利用关系数据库存储海量工业设备监测数据方法

[发明专利]基于大数据和ORACLE海量数据的资产筛选系统和方法-CN202111071903.5有效
发明人：李剑生;翁国海;郑成彬 -专利权人：北京江融信科技有限公司
申请日： 2021-09-14 - 公布日： 2022-04-05 - 主分类号： G06F16/22 文献下载
摘要：本发明涉及一种基于大数据和ORACLE海量数据的资产筛选系统，包括大数据加工模块、ORACLE数据存储模块、作业调度模块和WEB应用模块；大数据加工模块能够基于Hadoop+Hive+HDFS构建的离线处理集群进行离线数据加工；ORACLE数据存储模块能够通过SQL建表语句建立资产信息表，并为需要检索的字段建立位图索引；作业调度模块能够通过配置对应调度脚本、调度时间来定时触发大数据加工与ORACLE数据导入；WEB应用模块能够接收ORACLE数据存储模块的数据，并输出能够直接被资产证券化管理系统使用的信息。本发明还公开了一种基于大数据和ORACLE海量数据的资产筛选方法。通过大数据的加工，使得海量资产属性更细致；通过ORACLE的位图索引，使得海量资产数据检索速度更快。
基于数据 oracle 海量资产筛选系统方法

[发明专利]基于金字塔的海量激光雷达点云存储方法-CN201210176612.7有效
发明人：浦石;赵永屹;纪明汝;杜娜娜 -专利权人：北京拓维思科技有限公司
申请日： 2012-05-31 - 公布日： 2012-09-26 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及测绘数据处理技术领域，尤其涉及基于金字塔的海量机载激光雷达点云存储方法。通过建立一种渐进加密金字塔式的数据存储方式，在金字塔的各层通过抽稀存储不同密度的瓦片式点云对海量点云数据进行空间索引。基于金字塔的点云数据管理方式可以实现对海量点云高效有序的存储，实际数据加工操作可根据需求自适应加载或修改相应的数据瓦片，从而大幅降低制作过程中所消耗的计算资源，并直接提高基于激光雷达点云的空间数字产品制作效率
基于金字塔海量激光雷达存储方法

[发明专利]一种海量语义数据的存储和查询方法及装置-CN201010279073.0无效
发明人：陈岩光;邹磊;赵东岩 -专利权人：北京大学
申请日： 2010-09-10 - 公布日： 2011-01-19 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种海量语义数据的存储和查询方法及装置，基于云计算搭建具有多个计算机节点的集群，集群包括一个主控节点和若干个从属节点，集群中的每个节点都建立分布式数据库；将海量语义数据通过云计算编程模型导入各节点的分布式数据库，实现了存储的分布式，解决了当处理海量数据时单机系统遇到的存储瓶颈和管理困难的问题，同时，如果数据规模继续扩大，只需要增加集群的从属节点，具有良好的可扩展性。另外，在解决海量数据查询的问题时，本发明方法利用了RMI技术，将查询进行了分割，使得集群的各个节点可以同时处理所得到的分割查询，使得查询速度更快，效率更高。
一种海量语义数据存储查询方法装置

[发明专利]海量数据处理方法及系统-CN201010527381.0无效
发明人：朱建涛;蒋金虎;何晓斌;李帆;陈起 -专利权人：无锡江南计算技术研究所
申请日： 2010-10-28 - 公布日： 2012-05-16 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量数据处理方法及系统，其中，本发明公开的海量数据处理方法中，预先设定限额触发值和限额值，若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时，对所述存储设备执行文件处理操作，释放其存储空间，直至所述存储设备的当前使用空间小于所述限额值，再存储所述数据，解决了存储设备的存储空间届满时，无法存入数据的问题。
海量数据处理方法系统

[发明专利]数据采集和分配系统-CN200480023014.X无效
发明人：古尔旺·韦尔努瓦 -专利权人：古尔旺·韦尔努瓦
申请日： 2004-06-10 - 公布日： 2006-09-20 - 主分类号： G07F17/00 文献下载
摘要：数据采集和分配系统，包括至少一个本地海量存储装置6和海量存储装置6的存储器容量的本地租用装置13。该租用装置包括：读取载体10数据的数据读取器11；中间存储器11a；分析、比较、拒绝或接受数据10的装置12以及租用存储器容量13的价格的设定装置；以及授权将等待于中间存储器11a中数据加载到存储器容量
数据采集分配系统

[发明专利]海量用电数据分析系统及其实时计算、数据挖掘方法-CN201410710769.2有效
发明人：马超然;邝振星;钟世冠;苏超;覃杰聪;莫东平;阮国恒;潘肇宇 -专利权人：广东电网有限责任公司清远供电局
申请日： 2014-12-01 - 公布日： 2015-02-18 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量用电数据分析系统，包括：数据源；数据获取模块；数据存储模块；数据计算模块，用于采用SmartMing、和/或Rhadoop分析工具和/或Spark框架，对数据计算模块的海量用电数据进行98分布式并行计算；基础服务模块，提供GIS服务和可视化服务，以及根据数据计算模块的计算结果进行数据分析；用电分析平台，用于根据基础服务模块进行计量装置分析、实时线损计算、用电行为分析、馈线分析、电力负荷预测和负荷实时预测本发明还公开了一种基于海量用电数据分析系统的海量用电数据实时计算方法和一种基于海量用电数据分析系统的海量用电数据挖据方法。本发明可以对海量用电数据进行分析处理，处理效率高。
海量用电数据分析系统及其实时计算挖掘方法

[发明专利]车辆数据处理方法、装置、电子设备及存储介质-CN202310125032.3在审
发明人：李一非 -专利权人：腾讯科技（深圳）有限公司
申请日： 2023-02-01 - 公布日： 2023-10-27 - 主分类号： G06F16/2455 文献下载
摘要：本发明公开了车辆数据处理方法、装置、电子设备及存储介质，可应用于地图领域，该方法包括：基于分布式消息队列获取海量车辆上报的车辆数据；基于消费服务节点从分布式消息队列中读取待处理车辆数据，确定待处理车辆数据在多个聚合服务节点中对应的目标聚合服务节点，并将待处理车辆数据发送至目标聚合服务节点；基于每个聚合服务节点对预设时间间隔内接收的待处理车辆数据进行聚合处理，得到海量车辆的聚合车辆数据；基于第一线程将海量车辆的聚合车辆数据存储至基于内存的目标缓存；基于第二线程将所述目标缓存中的聚合车辆数据存储至持久化数据库中。本发明大大提高了数据处理效率，可以实现对百万QPS级别的海量车辆数据的快速存储。
车辆数据处理方法装置电子设备存储介质

[发明专利]一种海量智能用电数据混合存储系统及方法-CN201410482773.8在审
发明人：史玉良;李庆忠;王新军;王相伟;朱伟义;闫中敏;孔兰菊 -专利权人：山东大学;山大地纬软件股份有限公司;国网山东省电力公司
申请日： 2014-09-19 - 公布日： 2015-01-28 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量智能用电数据混合存储系统及方法，包括前置通信服务器集群、前置通信服务器集群接收终端上传的原始数据帧，将数据解析后得到的原始数据文件存储到本地磁盘，前置通信服务器集群将原始数据帧和原始数据文件转存到所述MongoDB私有云存储平台，采集数据转存计算平台读取所述MongoDB私有云存储平台的数据进行处理后存储到采集数据转存计算平台的生产库和分析库中，生产库对业务数据进行存储，分析库对生产库的业务数据进行分析处理它具有应对海量采集数据给前置主站存储能力带来的挑战，现将采集数据存储在本地缓存，满足对海量数据的快速存储和统一管理需求，降低对生产数据库的入库压力的优点。
一种海量智能用电数据混合存储系统方法

[发明专利]一种海量数据平台与大数据平台融合方法-CN201810496314.3有效
发明人：韩嘉佳;犹锋;周升;张晓晓;倪阳旦;张珂珩;孙歆;张高坤;李景;李贤慧;戴桦;李沁园;汪自翔;吕磅;李霁远;王刘旺 -专利权人：国网浙江省电力有限公司电力科学研究院;国网浙江省电力有限公司;江苏瑞中数据股份有限公司
申请日： 2018-05-22 - 公布日： 2021-11-30 - 主分类号： G06F16/2455 文献下载
摘要：本发明公开了一种海量数据平台与大数据平台融合方法，该平台包括数据采集层、数据缓存层和数据存储层；该融合方法包括：数据采集层采用分布式消息队列Kafka机制，实现测点数据传输；数据缓存层采用REDIS键值型内存数据库，实现用户即席查询需求；数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储，本发明提出的海量数据平台与大数据平台融合方法，实现了海量平台与大数据平台最佳融合，通过统一技术路线、统一技术支持、明确职责分工，实现大数据应用服务平台化，全面支撑各专业大数据应用需求，解决公司各专业的大数据应用需求，保障数据和业务的连续性。
一种海量数据平台融合方法

首页
«上一页
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条