“海量数据存储”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3373592个，建议您升级VIP下载更多相关专利

[发明专利]一种全脑数据的存储方法、系统、电子设备及存储介质-CN202110581589.9在审
发明人：张越一;周洋;孙晓艳 -专利权人：中国科学技术大学
申请日： 2021-05-26 - 公布日： 2021-08-13 - 主分类号： G06F16/182 文献下载
摘要：本公开提供了一种全脑数据的存储方法，包括：获取原始数据集、标注数据集及标签数据集；将各数据集进行预处理，分别得到海量的原始图片数据、标注图片数据及标签图片数据；将海量的原始图片数据、标注图片数据及标签图片数据进行下采样分级处理，得到多个不同级别的海量原始图片数据、海量标注图片数据及海量标签图片数据；将多个不同级别的海量原始图片数据、海量标注图片数据及海量标签图片数据分别存储至分布式存储系统目录树中，包括：发起数据存储请求，并根据节点信息选取一主数据存储节点；将各图片数据依次存储至该主数据存储节点和其他数据存储节点，并将存储结果输出至客户端。本公开还提供了一种全脑数据的存储系统、电子设备及介质。
一种数据存储方法系统电子设备介质

[发明专利]一种海量数据智能处理系统-CN201310261572.0在审
发明人：姜啸宇;朱烨东 -专利权人：北京中科金财科技股份有限公司
申请日： 2013-06-27 - 公布日： 2013-10-23 - 主分类号： G06F17/30 文献下载
摘要：本发明提出了一种海量数据智能处理系统，解决了现有技术中无法对海量数据进行有效处理的问题。该系统包括存储装置，与存储装置连接；数据存储应用装置，用于存储系统海量数据应用服务，与存储装置连接；数据集群装置，用于管理存储的海量数据，并对存储的海量数据进行转储或清除操作，与存储装置连接；公共管理应用集群装置，用于与外部用户进行信息交换、控制海量数据中转，并为海量数据的传输提供接口，与存储装置连接。本发明所述的海量数据智能处理系统，能够有效的实现外部用户与系统的交流，并且在有效交流的同时进行有效的数据处理。
一种海量数据智能处理系统

[发明专利]一种海量不确定XML数据存储方法-CN201910644221.5在审
发明人：刘健;龚蕾蕾;张蕾 -专利权人：哈尔滨工业大学
申请日： 2019-07-17 - 公布日： 2019-10-01 - 主分类号： G06F16/81 文献下载
摘要：本发明公开了一种海量不确定XML数据存储方法，包括以下步骤：A、抽取海量不确定XML数据；B、构建基于列数据库的海量不确定XML数据表示模型；C、实现基于不确定列数据库的海量不确定XML数据存储；本发明通过识别不确定XML文档中数据的多粒度不确定性，研究基于列数据库的不确定XML数据表示方法；本发明研究面向海量不确定XML数据的存储模型，包括研究模式(XMLDTD/Schema)已知情况下的海量不确定XML数据存储方法，以及模式未知情况下的海量不确定XML数据存储方法，本发明开发面向海量不确定XML数据的表示和映射存储方法，从而解决海量不确定XML数据难于管理的问题。
存储数据库表示模型不确定性存储模型映射存储构建研究抽取开发管理

[发明专利]一种海量数据处理系统的设计和实现方法-CN201510850498.5在审
发明人：孙志云;郭美思 -专利权人：浪潮集团有限公司
申请日： 2015-11-30 - 公布日： 2016-04-06 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种海量数据处理系统的设计和实现方法，采用了分布式存储、分布式计算框架、快速处理的方式，提高数据存储、处理效率，节省CPU及网络资源；本方法包括：海量数据收集模块、海量数据存储模块、海量数据处理模块本发明的结构设计主要考虑海量数据收集、数据存储、数据处理的问题。为了使得海量数据处理过程更加便捷、高效、安全，本文采用了分布式存储、分布式计算框架、快速处理的方式，实现了一种海量数据处理系统的设计和实现。从而提高数据存储、处理效率，节省CPU及网络资源。
一种海量数据处理系统设计实现方法

[发明专利]一种海量遥感影像数据分层混合存储与索引方法-CN202010100718.3有效
发明人：吴华意;郑杰;李学锡;成洪权;孙涛;赵志强;李涛;李志伟 -专利权人：江苏易图地理信息科技股份有限公司
申请日： 2020-02-19 - 公布日： 2023-05-26 - 主分类号： G06F16/182 文献下载
摘要：一种海量遥感影像数据分层混合存储与索引方法。涉及地理信息技术应用领域，具体涉及一种对海量遥感影像数据进行分层混合存储与索引的方法。提供了一种数据结构紧凑、节省存储空间且能高效索引数据的海量遥感影像数据分层混合存储与索引方法。本发明建立了一种海量遥感影像数据分层混合存储与索引的方法，在满足海量遥感影像数据存储空间需求的同时，使数据的结构更加紧凑，节省存储空间。为提高数据的存储效率，本发明结合数据存储模型，设计结合存储数据特点的索引方法，为数据的高效索引与服务提供支撑。
一种海量遥感影像数据分层混合存储索引方法

[发明专利]海量数据分库存储的方法、装置、计算机设备及存储介质-CN201910809222.0有效
发明人：朱志伟 -专利权人：深圳前海环融联易信息科技服务有限公司
申请日： 2019-08-29 - 公布日： 2023-04-28 - 主分类号： G06F16/22 文献下载
摘要：本申请公开了海量数据分库存储的方法、装置、计算机设备及存储介质，其中，方法包括：提取同类型海量数据的关键字段的值；根据所述关键字段的值对同类型海量数据进行分段；为各段的海量数据分配相应的数据库，并将各段的海量数据存储至相应的数据库中采用本申请的方法进行分库存储处理之后，各个数据库的存储量较为平均，并且查询性能得到提升，也克服了更新或删除时锁表的问题。
海量数据库存方法装置计算机设备存储介质

[发明专利]海量结构化数据的存储方法和系统-CN201710623972.X在审
发明人：黄文琦;李鹏;许爱东;陈晓;陈华军;李果;蒋屹新;杨航;张福铮 -专利权人：南方电网科学研究院有限责任公司;中国南方电网有限责任公司电网技术研究中心
申请日： 2017-07-27 - 公布日： 2017-11-03 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种海量结构化数据的存储方法和系统。上述海量结构化数据的存储方法包括将海量结构化数据输入关系型数据库，将所述海量结构化数据分配至所述关系型数据库的各个工作节点；通过所述关系型数据库的主节点读取各个工作节点的元数据分布规则，根据所述元数据分布规则生成各个工作节点的节点执行计划；将各个节点执行计划分别发送至相应的工作节点，控制各工作节点在运行各自的执行计划，将所述海量结构化数据存储至关系型数据库。本发明提供的海量结构化数据的存储方案中数据处理过程简单，对所操作用户的技术要求相对低，且存储海量结构化数据过程中工作量得到有效减少，可以降低针对海量结构化数据的存储成本。
海量结构数据存储方法系统

[发明专利]海量存储类设备加密方法、主控制器及接入设备-CN202011367255.3有效
发明人：李健 -专利权人：海光信息技术股份有限公司
申请日： 2020-11-27 - 公布日： 2023-03-14 - 主分类号： G06F21/60 文献下载
摘要：本申请提供一种海量存储类设备加密方法、主控制器及接入设备，方法包括：获取海量存储类设备的特征信息；根据海量存储类设备的特征信息生成密钥；使用密钥加密传输给该海量存储类设备的普通数据。这样，通过利用海量存储类设备的特征信息来生成密钥，从而使用密钥加密传输给海量存储类设备的普通数据，提高了海量存储类设备中的数据安全性。此外，由于是利用海量存储类设备自身的特征信息来生成的密钥，从而可以降低加密成本，且减少加密对于设备的传输速度的影响。此外，本申请实施例的方案对于海量存储类设备侧不需要进行专门的改动，即不需要专门制作的带有加解密功能的海量存储类设备，具有普适性。
海量存储设备加密方法主控接入

[发明专利]一种海量异构数据存储方法及系统-CN201911178004.8在审
发明人：申培;郝亮;林亚团;王伟;鲍亮;郑士良;陈祥;张楠;魏晓飞 -专利权人：河钢数字技术股份有限公司
申请日： 2019-11-27 - 公布日： 2020-03-31 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种海量异构数据存储方法及系统，所述方法包括：从数据源获取海量异构数据；根据设定的规则对海量异构数据进行分类，分为：结构化数据、半结构化数据和非结构化数据以及系统运行过程中产生的热点数据；根据数据的元数据，将不同类型的数据存储至不同的数据存储分区，不同的数据存储分区包括：关系型数据库Oracle、MySQL和非关系型数据库HBase、内存型数据库Redis。本发明提供的海量异构数据存储方法及系统，通过整合多种数据库，实现了海量结构化数据、半结构化数据和非结构化数据的有效结合和统一存储管理，解决了数据的异构性、海量性和不确定性的问题。
一种海量数据存储方法系统

[发明专利]一种电力调度海量数据的存储方法-CN200810025476.5有效
发明人：俞刚;林峰 -专利权人：国网南京自动化研究院;南京南瑞集团公司
申请日： 2008-05-05 - 公布日： 2009-01-28 - 主分类号： G01D9/28 文献下载
摘要：本发明涉及一种海量数据的存储方法，尤其是涉及一种电力调度海量数据的存储方法，其特征在于，对于采样周期大于30分钟所采集的数据采用纵向存储的存储方式；对于采样周期小于等于30分钟所采集的数据采用横向存储的存储方式本发明通过进一步细分海量数据，并采用最合适存储结构，能够使数据库在存储有较长时间的电力调度历史数据之后，仍具有非常好的数据存取性能，消除了以往海量数据效率低下的问题。
一种电力调度海量数据存储方法

[发明专利]一种基于语义的海量数据处理方法-CN201310173198.9有效
发明人：王朝硕;赵建宁;张桂刚;田应富;李超;周震震;张勇;郭涑炜;邢春晓 -专利权人：中国南方电网有限责任公司超高压输电公司;清华大学
申请日： 2013-05-10 - 公布日： 2013-09-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开一种基于语义的海量数据处理方法，其包括以下步骤：A、将所述云应用中的所有的海量数据进行语义处理，形成智能分布式的语义索引机制；B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中；C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式，将会使得那些具有语义关联比较高的数据存储的比较紧密，当各种云应用需要执行对海量数据的MapReduce计算时，会在同一台机器上对同一个作业执行较多的Map或者Reduce任务，从而减少数据迁移的时间消耗，将会较好地提高海量数据的处理效率。
一种基于语义海量数据处理方法

[发明专利]海量小文件的分布式存储方法和系统-CN201810918747.3有效
发明人：唐鹏;谢彬;解维;居晓清;张楠;侯亮 -专利权人：华东计算技术研究所（中国电子科技集团公司第三十二研究所）
申请日： 2018-08-13 - 公布日： 2020-07-24 - 主分类号： G06F16/182 文献下载
摘要：本发明提供海量小文件的分布式存储方法和系统，包括将物理磁盘通过逻辑分区形成多个虚拟磁盘；根据海量小文件的文件命名规则进行分类，创建目录索引树；根据文件命名规则解析所存储的海量小文件的文件名，获取其在目录索引树中的存储位置，存储海量小文件，对应的存储目录记为原始目录，并对海量小文件进行冗余存储，对应的存储目录记为冗余目录；当出现所述原始目录、所述冗余目录两者中的文件数据不一致时，触发数据同步与恢复操作。本发明针对海量小文件的分布式存储，在存储大量小文件时通过建立索引及文件名定位，实现在海量数据中迅速定位信息，在可靠性上利用数据冗余来保证，机制简单，容错性强，在保证正确性的同时减少元数据存储空间。
海量文件分布式存储方法系统

[发明专利]一种实现海量数据离线分析的方法-CN201410814611.X在审
发明人：潘森;周爱华;朱力鹏;饶伟;黄进;蔡皓 -专利权人：国家电网公司;中国电力科学研究院;国网山东省电力公司
申请日： 2014-12-24 - 公布日： 2016-07-20 - 主分类号： G06F17/30 文献下载
摘要：本发明提出一种实现海量数据离线分析的方法，所述方法包括(1)采集海量电力数据；(2)对海量电力数据预处理；(3)离线分析海量电力数据；(4)分析结果展示。通过本发明海量数据离线分析方法，可实现不同时空、不同业务、不同场景的电力数据资源的集中存储，统一管理，共享共用；通过对所存储的海量历史数据的分析和挖掘为管理层进行电力决策提供科学合理的依据。
一种实现海量数据离线分析方法

[发明专利]一种海量矢量切片数据云存储方法及系统-CN201610939884.6有效
发明人：马潇;王景朝;费香泽;王宪 -专利权人：中国电力科学研究院;国家电网公司;国网安徽省电力公司
申请日： 2016-10-25 - 公布日： 2022-04-01 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种用于海量矢量切片数据的云存储方法，所述方法包括：建立分布式文件系统目录树文件；建立与分布式文件系统目录树对应的所有元数据节点；将分布式文件系统中同一级目录下的海量矢量切片数据进行聚合，生成海量矢量切片数据包；将所述海量矢量切片数据包存储于所述元数据节点中；为所述海量矢量切片数据建立索引，所述海量矢量切片数据通过索引建立关联，形成网状结构的海量矢量切片数据的数据索引表；所述索引表用于记录所述海量矢量切片数据在所述海量矢量切片数据包中的路径；通过所述海量矢量切片数据包索引表提供所述海量矢量切片数据索引服务。
一种海量矢量切片数据存储方法系统

[发明专利]一种海量结构化数据的存储方法及系统-CN202311002077.8在审
发明人：张哲;殷亮 -专利权人：深圳市连用科技有限公司
申请日： 2023-08-10 - 公布日： 2023-09-08 - 主分类号： G06F16/22 文献下载
摘要：本发明提供了一种海量结构化数据的存储方法及系统，所述方法包括：从数据源获取海量结构化数据；基于海量结构化数据的元数据对海量结构化数据进行分区存储，生成分区数据；获取每个分区数据内的主数据，基于主数据对隶属的分区数据添加分类标签，根据分类标签对每个分区数据进行列存储；对列存储的每一列数据执行预设向量化操作，基于预设向量化操作对每一列数据进行排序；基于排序结果对每个数据分配唯一身份识别码，根据每个分区数据内的分类标签和身份识别码构建数据排列模型；建立每个数据排列模型与对应分区数据的映射关系并存储至预设存储位置。本发明可以降低海量结构化存储数据的存储空间压力，提高数据处理效率。
一种海量结构数据存储方法系统

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条