“海量数据存储”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3373592个，建议您升级VIP下载更多相关专利

[发明专利]一种数据存储方法及装置-CN201710842915.0在审
发明人：王旭 -专利权人：杭州时趣信息技术有限公司
申请日： 2017-09-18 - 公布日： 2018-01-12 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种数据存储方法，在进行数据存储时，由于分区索引中只存储了表分区的指定分区段中的最大数据、最小数据，分块索引只存储了列存储文件中的最大数据、最小数据、已存数据总量、空数据总量、各已存数据之和及已存数据的平均值，所以分区索引和分块索引所占用的存储空间均非常小，即使在进行海量数据存储时，分区索引和分块索引也可以基本存储于内存中，避免了由于索引文件巨大而造成的内存频繁替换。因此，本数据存储方法，在进行海量数据存储时，能够将分区索引和分块索引完整的存储在内存中，提高数据的查询速度。此外，本发明还公开了一种数据存储装置，效果如上。
一种数据存储方法装置

[发明专利]多媒体数据深度挖掘方法、存储介质及电子设备-CN201710549413.9在审
发明人：郭继舜 -专利权人：大圣科技股份有限公司
申请日： 2017-07-07 - 公布日： 2017-12-22 - 主分类号： G06F17/30 文献下载
摘要：本发明提供多媒体数据深度挖掘方法，同时本发明还涉及存储介质与电子设备。本发明基于深度学习的分布式海量高维视频数据的检索方法，并针对海量高维数据的快速挖掘问题，进行检测数据和计算负载的分布式部署，同时通过实验数据证明基于深度的分布式海量高维视频数据检索框架的有效性。本发明采用虚拟节点算法对分布式海量高维视频数据检索负载均衡的优化；针对海量高维视频数据分布式检索的负载均衡问题，深入研究对等网络的动态负载均衡算法和索引结构的数据分布特点，设计出一种基于虚拟节点的动态调度算法来满足深度学习大量运算的需要
多媒体数据深度挖掘方法存储介质电子设备

[发明专利]一种海量空间信息数据存储管理方法及存储管理系统-CN201610832422.4有效
发明人：王景光;邹同元;褚鹏飞;沈洋;侯伟;刘宗玥 -专利权人：哈尔滨航天恒星数据系统科技有限公司
申请日： 2016-09-19 - 公布日： 2021-04-20 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种海量空间信息数据存储管理方法，包括步骤：建立主从模式的分布式文件系统，位于分布式文件系统下对空间信息数据进行全生命周期管理的存储管理节点；创建在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据的、由若干个数据存储节点形成的分布式、可横向平滑扩展的存储集群；数据存储节点采用分布式存储策略，该分布式存储策略是基于哈希取模算法实现的。采用本发明解决了现有的存储管理方法无法对具备海量、多源、异构等特点的空间信息数据进行有效存储和管理的问题。
一种海量空间信息数据存储管理方法系统

[发明专利]一种海量数据的多维分析方法及装置-CN201410306622.7在审
发明人：吕燕 -专利权人：中兴通讯股份有限公司
申请日： 2014-06-30 - 公布日： 2015-12-30 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种海量数据的多维分析方法及装置，用以解决现有的在线多维数据分析OLAP对海量数据源Hadoop平台上存储的海量数据不能实时、高效地进行多维分析的问题。本发明包括：对用户发起的多维分析查询请求进行解析处理，得到解析结果，解析结果包括：多维分析查询请求对应的立方体多维模型信息以及结构化查询语句SQL；获取与立方体多维模型信息匹配的数据源，并与数据源建立连接关系，数据源包括：Hadoop平台和/或关系数据库；根据连接关系以及SQL，从Hadoop平台或者关系数据库获取数据查询结果；根据立方体多维模型信息，将数据查询结果转换成多维数据结果并返回给用户。本发明实现了对Hadoop平台上存储的海量数据实时、高效地进行多维分析的目的。
一种海量数据多维分析方法装置

[发明专利]面向海量数字水深模型数据体海上最短航线快速生成方法-CN202010783496.X在审
发明人：吴文周;康路;苏奋振 -专利权人：中国科学院地理科学与资源研究所
申请日： 2020-08-06 - 公布日： 2020-10-30 - 主分类号： G06Q10/04 文献下载
摘要：本发明涉及地理信息系统空间分析领域，提供了一种面向海量数字水深模型数据体的海上最短航线快速生成方法，包括：设置船舶海上航行的安全水深参数，读取所述海量数字水深模型数据体的参数；逐行读取所述海量数字水深模型数据体中的水深数据，采用行程编码方法逐行对所述水深数据进行压缩存储，采用基于最小堆存储结构的“蚁群式”扩散策略，从所述起点网格单元开始，由近及远向所述待扩散网格扩散；从所述终点网格单元回溯追踪至所述起点网格单元，并将栅格路径转换为矢量路径本发明降低了数字水深模型数据的存储量，有效提高了算法的计算效率。
面向海量数字水深模型数据海上航线快速生成方法

[发明专利]基于Bulkload的资源队列处理方法及装置-CN202211589263.1在审
发明人：张世瑛;赵吉昆;张涛;贺娜 -专利权人：中国工商银行股份有限公司
申请日： 2022-12-12 - 公布日： 2023-04-28 - 主分类号： G06F16/182 文献下载
摘要：本发明可用于大数据技术在金融方面应用的技术领域，本发明提供了一种基于Bulkload的资源队列处理方法及装置，对应的方法包括：修改Yarn资源管理框架的配置文件，以在所述Yarn资源管理框架中添加容量调度器本发明对分布式列式数据库海量数据存储方法Bulkload进行优化优化，增加资源队列配置功能，对海量数据存储作业进行最大资源容量和最低资源保障的管控，从而能够在hadoop集群当前整体资源现状下，按照业务时效性要求对海量历史事件数据、历史时点数据进行合理高效的存储。
基于 bulkload 资源队列处理方法装置

[发明专利]一种基于海量数据的关系处理方法及系统-CN201810549620.9有效
发明人：彭文净;肖雪;王建华 -专利权人：浪潮软件股份有限公司
申请日： 2018-05-31 - 公布日： 2021-09-28 - 主分类号： G06F16/248 文献下载
摘要：本发明提供了一种基于海量数据的关系处理方法及系统，该方法包括：使用图数据库存储海量数据的关联信息数据；在监测到外部设置的至少一个节点、针对该至少一个节点的分析请求类型时，根据分析请求类型，利用图遍历语言从图数据库中查询该至少一个节点的目标关联信息数据；使用画布对目标关联信息数据进行渲染，并对渲染后的画布进行可视化展示。可以利用图数据库来存储海量数据的关联信息数据，并基于外部的关联图谱分析请求，以查询相应的关联信息数据并向用户展示，故本方案能够应对复杂关联图谱分析的处理。
一种基于海量数据关系处理方法系统

[发明专利]一种支持海量存储的内存数据库方法-CN201010246288.2在审
发明人：姜权 -专利权人：上海酷吧信息技术有限公司
申请日： 2010-08-05 - 公布日： 2010-12-01 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种支持海量存储的内存数据库方法，其包括以下步骤：一个内存数据库将用户要访问且不在内存数据库中的记录从一个物理数据库载入，当内存数据库使用内存达到上限时，定时清除内存数据库中使用机率低于设定值的记录本发明的支持海量存储的内存数据库方法充分利用内存，访问内存数据库的速度加快。
一种支持海量存储内存数据库方法

[发明专利]一种用于医院后勤精益管理的分布式存储系统-CN201910213912.X在审
发明人：张挺 -专利权人：上海电力学院
申请日： 2019-03-20 - 公布日： 2019-05-28 - 主分类号： G06F16/182 文献下载
摘要：本发明涉及一种用于医院后勤精益管理的分布式存储系统，该系统通过对医院后勤精益管理业务需求和数据存储管理的综合分析，针对其中需要迫切解决的海量多类异构数据的集成存储问题给出了医院后勤海量数据的分布式存储框架，该框架采用Hadoop大数据平台，完成医院后勤结构化数据、半结构化数据和非结构化数据的分布式存储，解决了医院后勤精益管理中大容量、多格式的同构或异构数据存储和高速度响应需求的组合难题，有利于推动医院后勤精细化管理的智能化
医院后勤精益分布式存储系统分布式存储结构化数据异构数据非结构化数据数据存储管理精细化管理信息化进程存储问题管理业务海量数据速度响应大容量大数据多格式智能化综合分析同构管理存储

[发明专利]支持海量数据自动处理的数字内容编目管理系统及方法-CN200810240362.2有效
发明人：张树武;李和平;梁伟;张发振;曾智 -专利权人：中国科学院自动化研究所
申请日： 2008-12-17 - 公布日： 2010-06-23 - 主分类号： H04Q11/00 文献下载
摘要：本发明为一种支持海量数据自动处理的数字内容编目管理系统与方法，包括：管理服务器，负责与其它模块进行消息通信和消息响应，确定资源的存储位置，为计算任务分配计算服务器，控制业务流程；上传客户端，负责上传外部的多媒体资源；人工审核标注客户端，为元数据结果的人工审核和标注提供交互界面；计算服务器，负责管理和启动计算引擎，获取媒体资源的元数据结果；资源存储服务器，负责管理媒体资源信息；元数据服务器，负责管理元数据信息；磁盘阵列，负责存储媒体资源的物理文件，资源数据库及元数据数据库。本发明能够对海量媒体数据进行自动处理，能够自动获取多媒体数据的内容和自动编目，实现对海量多媒体数据内容的有效管理。
支持海量数据自动处理数字内容编目管理系统方法

[发明专利]基于海量数据分级存储系统的迁移管理方法-CN200710119359.0有效
发明人：舒继武;陈康;于得水;张广艳 -专利权人：清华大学
申请日： 2007-07-23 - 公布日： 2008-01-09 - 主分类号： G06F9/50 文献下载
摘要：基于海量数据分级存储系统的迁移管理方法属于数据迁移领域，其特征在于：各前端主机上的并行文件系统客户代理软件实现对VFS访问的支持；元数据服务器负责执行增量扫描，迁移管理以及速率控制等操作，实现对海量数据分级存储系统中前端应用的性能保证数据服务器按照性能高低划分为快速数据服务器和慢速数据服务器，对元数据服务器发来的增量扫描指令进行处理并返回扫描信息，同时执行元数据服务器发来的文件迁移命令。该方法根据负载情况对数据迁移过程进行调度，根据快速设备剩余空间情况进行主动降级，降低了迁移过程对前端应用的影响，提高了快速设备剩余空间比率，增强了海量数据分级存储系统的自管理性。
基于海量数据分级存储系统迁移管理方法

[发明专利]一种基于海量数据进行分布式比对碰撞方法-CN201410574493.X在审
发明人：王德强;王伟伟;胡焕钢 -专利权人：浪潮软件股份有限公司
申请日： 2014-10-24 - 公布日： 2015-01-28 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及海量数据处理技术领域，特别涉及一种基于海量数据进行分布式比对碰撞方法。本发明是将关系型数据存储到分布式存储上，在进行数据查询关联时，利用分布式计算的方式来进行关联查询获取结果。该方法充分利用了分布式计算，减小了传统的数据库存储数据的查询方式，为一些以前因数据量过大关联过多而无法在数据库中进行查询的需求提供了新的技术方式。
一种基于海量数据进行分布式碰撞方法

[发明专利]一种用于检索的调整方法及装置-CN201911233481.X有效
发明人：刘海忠;牛亮 -专利权人：北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司
申请日： 2019-12-05 - 公布日： 2023-07-18 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种用于检索的调整方法及装置，方法包括：以主节点、数据节点、协调节点、资源、索引、待存储数据、用于存储数据的存储分片中至少一种类型，确定检索系统中的待调整对象；针对不同类型的待调整对象配置调整策略，以通过调整该待调整对象启动检索系统的海量数据存储和查询。采用本申请提供的方案，能够针对不同类型的待调整对象配置调整策略，以通过调整该待调整对象启动检索系统的海量数据存储和查询，从而实现对检索系统的调整。
一种用于检索调整方法装置

[发明专利]一种海量类定位数据存储方法-CN201310544357.1在审
发明人：蓝飞翔;陈学钊;袁芳;王欢 -专利权人：北京航天长峰科技工业集团有限公司
申请日： 2013-11-06 - 公布日： 2015-05-20 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种海量类定位数据存储方法，构建基于MongoDB服务器集群的海量类定位数据存储系统作为支撑平台，利用数据分片技术和分布式数据存储技术，采用无共享存储架构，根据业务所需的特定维度对数据进行拆分，并平均地存储到所有的服务器和磁盘中，以保证系统读写负载尽可能均衡，调动数据读写的所有IO并获得集群的总体IO支持能力。此外，利用内存映射文件技术，将被访问过的数据信息保存在服务器内存中，从而在最大程度上减少磁盘IO可能带来的性能上的延迟。
一种海量定位数据存储方法

[发明专利]海量数据全链路监控方法、装置、设备及存储介质-CN202310425072.X在审
发明人：张硕;蒋尧鹏 -专利权人：康键信息技术（深圳）有限公司
申请日： 2023-04-14 - 公布日： 2023-07-14 - 主分类号： G06F16/2457 文献下载
摘要：本发明涉及人工智能技术，揭露了一种可用于金融类海量数据全链路监控方法，包括：采集链路数据、日志数据及指标数据；根据数据量级均衡选择消息队列分片策略，将链路数据、日志数据及指标数据划分为分片链路数据、分片日志数据及分片指标数据；将规整链路数据及规整日志数据存储到热暖架构的第一数据库中；从规整链路数据及规整日志数据中提取与分片指标数据关联的关联指标数据；对关联指标数据及分片指标数据进行二级聚合，得到聚合指标数据，并将规整链路数据、规整日志数据及聚合指标数据存储到热暖架构的数据库中。本发明还提出一种海量数据全链路监控装置、电子设备以及存储介质。本发明可以提高海量数据监控准确性及可维护性。
海量数据全链路监控方法装置设备存储介质