“海量数据存储”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3373592个，建议您升级VIP下载更多相关专利

[发明专利]面向多种Web数据的海量异构数据挖掘系统-CN201711485755.5在审
发明人：祁建明;周峻松;徐继峰;陈墩金 -专利权人：广州明领基因科技有限公司
申请日： 2017-12-30 - 公布日： 2019-07-16 - 主分类号： G06F16/2458 文献下载
摘要：本发明公开了一种面向多种Web数据的海量异构数据挖掘系统，该系统包括：数据获取层、数据存储层以及数据挖掘层；其中，所述数据获取层负责从互联网获取海量异构数据并将其转化为结构良好的数据；所述数据存储层负责将所述数据获取层提交的结果数据以结构化数据库的形式进行存储；所述数据挖掘层负责完善用户模型，改善服务效率，改进站点结构设计。本发明方案基于XML，通过即时处理多种形式的信息，使来源于不同结构化的数据快速结合在一起，不仅很好地兼容了原有的Web应用，还更好地实现了Web中的信息共享与交换，有效地解决了Intemet发展速度快而接入速度慢的问题，实现了从海量的数据中发现潜在规律，获得有用知识的目的。
数据获取异构数据数据存储层数据挖掘层挖掘系统结构化数据库服务效率即时处理结果数据快速结合潜在规律信息共享用户模型站点结构结构化有效地原有的兼容存储互联网转化交换改进发现

[发明专利]海量片段数据汇聚的系统和方法-CN201110375167.2无效
发明人：王亮;孙晋超;杨祖明;张栗伟 -专利权人：北京安天电子设备有限公司
申请日： 2011-11-23 - 公布日： 2012-05-16 - 主分类号： G06F17/30 文献下载
摘要：本发明针对两种海量片段数据分别公开了海量片段数据汇聚的系统，包括客户端的片段上传模块，服务器端的缓存模块、验证库模块、文件存储模块、片段接收模块、片段处理模块、片段合并模块、片段汇聚模块；相应的本发明还分别公开了海量片段数据汇聚的方法本发明采用消息队列服务、内存库、文件型数据库及守护进程等多种技术，能够高效的处理和合并海量片段数据。并采用严谨的合并策略，保证合并的正确性。
海量片段数据汇聚系统方法

[发明专利]一种海量定位数据存储方法-CN201310165736.X在审
发明人：陈学钊 -专利权人：北京航天长峰科技工业集团有限公司
申请日： 2013-05-08 - 公布日： 2014-11-12 - 主分类号： G06F17/30 文献下载
摘要：本发明公开一种海量定位数据存储方法，包括：(1)信息接入模块接收不同的定位数据源发送过来的异构定位数据，先将数据放在接收数据队列中；(2)数据处理模块从接收数据队列中取出数据，根据不同的数据类型分别解析，再封装成sql脚本语言放进数据存储队列中；(3)由数据存储模块从存储队列中将脚本语言取出再存入数据库中。本发明采用多线程的方法，无需等待一条数据接收、解析、存储完了再来接收另一条数据，提高了接收海量数据的效率。
一种海量定位数据存储方法

[发明专利]数据存储、读取的方法和装置-CN201811510818.2在审
发明人：张开涛;王杰颖;邹子靖 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2018-12-11 - 公布日： 2020-06-19 - 主分类号： G06F16/27 文献下载
摘要：本发明公开了一种数据存储、读取的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待存储数据；将待存储数据存储到主机redis数据库中的轻量级的内存映射数据库引擎中；将所述轻量级的内存映射数据库引擎中的数据同步到本地磁盘中。该实施方式避免了现有技术无法很好地支持海量存储、在高并发读写的情况下无法保证低延迟、在数据的情况下性能严重下降的技术缺陷，进而提升缓存能力、使得数据在读取时可以达到低延迟、高性能、海量存储数据的技术效果
数据存储读取方法装置

[发明专利]用于IP网络的云测量装置和测量方法-CN201110063235.1无效
发明人：崔毅东;何娜;金跃辉;宋茂强;丁海杰 -专利权人：北京邮电大学
申请日： 2011-03-16 - 公布日： 2011-08-03 - 主分类号： H04L12/26 文献下载
摘要：一种用于IP网络的云测量装置和测量方法，该装置设有三种部件：数据分析器、测量探针和负载均衡器。其中数据分析器有数据回收、负载均衡、数据处理、决策和云计算五个模块，测量探针有测量、数据采集、数据适配和管理四个模块，负载均衡器有通信、网络性能监测和负载均衡决策三个模块。本发明利用云计算平台存储海量的测量数据，保证数据存储的可靠性和可拓展性，利用云计算平台的并行处理机制，对海量测量数据进行快速分析和数据挖掘。测量探针支持多种测量算法，支持多种格式的数据采集，测量方法提供了拥塞响应策略和负载均衡策略。从而解决海量的测量数据的存储和处理，众多测量探针与数据分析器之间的数据可靠性与负载均衡问题。
用于 ip 网络测量装置测量方法

[发明专利]海量数据对账方法、装置、介质和计算机设备-CN201910199039.3在审
发明人：赵成龙 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-03-15 - 公布日： 2019-07-26 - 主分类号： G06Q40/00 文献下载
摘要：本发明提供了一种海量数据对账方法、装置、计算机存储介质和计算机设备；该方法包括：响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；将所述待对账数据集拆分为多个待对账数据子集；根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；根据所述各个待对账数据子集对应的轧账结果进行平账处理。通过本发明技术方案为海量数据进行对账处理，能够有效缩减为海量数据对账过程所花费的时间，显著提高对海量数据的对账效率。
海量数据数据子集计算机设备任务执行数据集计算机存储介质指令关联响应

[发明专利]一种仿真数据存储方法、装置、电子设备及存储介质-CN202211699493.3在审
发明人：李昌;吕鸣;邹金明;刘宇超;郭俊峰;周凡利;陈立平 -专利权人：苏州同元软控信息技术有限公司
申请日： 2022-12-28 - 公布日： 2023-03-21 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种仿真数据存储方法、装置、电子设备及存储介质，该方法包括：在对待仿真模型进行仿真的过程中，实时获取所述待仿真模型的仿真结果数据；基于预先设定的帧协议将所述仿真结果数据转化为对应格式的帧数据；将所述帧数据存储于IoTDB数据库。该方法，通过对仿真结果数据的获取和分析等操作，将待仿真模型的仿真结果数据按照仿真结果数据与IoTDB数据库的数据模型映射关系存储在IoTDB数据库中，实现了在高并发仿真场景中，对海量仿真结果数据进行高速的存储操作，并满足实时的分析海量仿真结果数据的要求。
一种仿真数据存储方法装置电子设备介质

[发明专利]用于存储信息的可移除海量存储设备的系统和方法以及计算机可读介质-CN200880012724.0无效
发明人：巴鲁克·索利什;耶胡达·G·汉 -专利权人：桑迪士克以色列有限公司
申请日： 2008-05-28 - 公布日： 2010-03-31 - 主分类号： G11B20/18 文献下载
摘要：一种计算机可读介质，具有包含在其中的用于授权访问网络的计算机可读代码，所述计算机可读代码包括用于以下的指令：接收要被存储在可移除海量存储设备上的信息；将区段表征存储在所述可移除海量存储设备的非光可重写存储区域上，其中所述区段表征包括接收的信息；以及产生代表存储在所述非光可重写存储区域上的多个区段的表征的元数据。一种用于存储信息的方法，该方法包括：接收要被存储在可移除海量存储设备上的信息；以及将可记录光盘(CDR)区段表征存储在所述可移除海量存储设备的非光可重写存储区域上，其中所述CDR区段表征包括接收的信息。
用于存储信息海量设备系统方法以及计算机可读介质

[发明专利]基于MongoDB的文件处理方法、装置、系统及服务器-CN201710917092.3在审
发明人：王晓涛 -专利权人：北京国双科技有限公司
申请日： 2017-09-30 - 公布日： 2019-07-16 - 主分类号： G06F16/172 文献下载
摘要：本发明提供的基于MongoDB的文件处理方法、装置、系统及服务器，通过在MongoDB预先设置的多个数据文档集合以及至少一个元数据文档集合，接收到待存储文件后，检测这多个数据文档集合确实未存储该待存储文件，将基于待存储文件的预设属性信息，将其存储到相应的数据文档集合，并将该待存储文件的当前元数据信息更新到元数据文档集合，而不是将元数据信息存储到Name Node的内存中，解决了因Name Node的内存无法存储海量小文件的元数据信息，导致无法存储海量小文件的技术问题，同时本发明通过对文件分类存储，还能够实现对大文件的存储，且便于通过增加数据文档集合实现系统水平扩展。
存储集合待存储文件数据文档海量小文件元数据文档元数据信息文件处理内存服务器元数据信息更新属性信息文件分类系统水平预先设置大文件预设检测

[发明专利]数据存储计算方法和系统-CN201310706148.2有效
发明人：佘伟;费浩峻;冯是聪;吴明辉 -专利权人：北京思博途信息技术有限公司
申请日： 2013-12-19 - 公布日： 2015-06-24 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种数据存储计算方法和系统。涉及信息处理领域；解决了资源浪费的问题。该方法包括：对海量数据进行日志收集并预处理；对预处理后的日志进行多维度日志分类；根据分布式系统Block的大小，将分类后的日志数据打包，所述Block为分布式文件系统的最小存储单位；在所述Block上存储数据，建立数据空间索引；利用所述数据空间索引，维护分布式集群计算资源的负载均衡。本发明提供的技术方案适用于海量数据处理，实现了数据存储过程中的负载均衡。
数据存储计算方法系统

[发明专利]一种海量文本数据处理方法及装置-CN201610862797.5有效
发明人：丁俊辉;王宝义;赵昱;李庆云 -专利权人：中国银行股份有限公司
申请日： 2016-09-28 - 公布日： 2019-11-29 - 主分类号： G06F16/31 文献下载
摘要：本发明实施例提供一种海量文本数据处理方法，包括：接收文本数据；根据预先配置的与所述文本数据对应的数据结构提取文本数据；将提取的文本数据以所述数据结构分块存储至对应的分区中；其中，每个分区对应一个或多个数据块本发明实施例提供了一种简单、高效的海海量文本数据处理方法，可以批量处理海量的文本数据，提高资源利用率与数据处理效率。
一种海量文本数据处理方法装置

[发明专利]网络性能巡检方法、装置及存储介质-CN202310673796.6在审
发明人：蒋迅婕;金鑫;周洲;毕中玻;孙洋洋 -专利权人：中国联合网络通信集团有限公司
申请日： 2023-06-07 - 公布日： 2023-08-25 - 主分类号： H04L43/08 文献下载
摘要：本申请提供一种网络性能巡检方法、装置及存储介质，涉及网络巡检领域，能够实现多种数据源的数据适配和避免无用告警的频繁上报。方法包括：对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测数据待检测海量数据，待检测数据待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；对通用数据结构的待检测数据待检测海量数据进行数据清洗；对清洗后的待检测数据待检测海量数据进行网络性能检测，得到目标检测结果，待检测数据目标检测结果包括网络性能异常的告警信息；基于目标过滤压缩规则，对待检测数据目标检测结果中的告警信息进行过滤压缩处理，将符合待检测数据目标过滤压缩规则的结果进行过滤
网络性能巡检方法装置存储介质

[发明专利]国网云中应用的一种基于大数据的日志管理系统-CN201710365505.1在审
发明人：王萍;胡聪;吴斌;徐敏;蔡梦臣;吴尚;方圆;张禾良;马永;倪平波;喻梅;胡州明;欧渊;张强;杨渝;李明洪 -专利权人：国网安徽省电力公司信息通信分公司;四川中电启明星信息技术有限公司
申请日： 2017-05-22 - 公布日： 2017-11-10 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其中日志收集模块收集、传输和聚合日志信息；日志存储模块将收集的日志信息存储于分布式服务器的存储节点；日志分析模块采用分布式计算的方法对日志信息进行数据挖掘分析；应用交互模块用于给用户提供查询输入、日志查询和日志导出的界面。本发明实现了应用的弹性部署，为应用提供按需服务和资源的动态分配，即根据应用负载的变化来弹性的调整资源的配置，采用分布式日志收集、海量异构日志信息的存储、海量日志的分析满足海量异构日志数据存储和数据挖掘分析
国网云中应用一种基于数据日志管理系统

[发明专利]一种容器化分布式数据采集处理方法、装置、设备及介质-CN202211699476.X在审
发明人：张育辉;张伟 -专利权人：南方电网数字电网研究院有限公司
申请日： 2022-12-28 - 公布日： 2023-05-30 - 主分类号： H04Q9/00 文献下载
摘要：本发明公开了一种容器化分布式数据采集处理方法、装置、设备及介质。该方法包括至少一个分布式容器，该分布式容器用于执行如下步骤：接收海量终端设备采集的待处理数据；对所述待处理数据进行解析处理，得到目标格式的待存储数据；对所述待存储数据按照预先设置的规则进行转换处理，得到待使用数据；对所述待使用数据合并处理，得到目标存储数据。本发明实施例的技术方案，通过在计算机集群上部署容器化分布式节点，可基于各分布式节点对海量终端设备上传的待处理数据进行解析、转换以及合并处理，实现了对不同终端类型上传的海量数据进行实时地处理，扩大数据处理容量的同时提高了数据处理效率
一种容器化分数据采集处理方法装置设备介质

[发明专利]一种获取海量数据的方法、装置、存储介质和服务器-CN202211658660.X在审
发明人：熊勇;刘佳 -专利权人：成都赛力斯科技有限公司
申请日： 2022-12-22 - 公布日： 2023-04-28 - 主分类号： G06F16/953 文献下载
摘要：本发明实施例提供了一种获取海量数据的方法、装置、存储介质和服务器。该方法包括：运行构造的任务队列函数，任务队列函数用于执行任务队列，任务队列包括多个少量数据请求；获取当前请求并发数与最大请求数；判断当前请求并发数是否小于最大请求数；若判断出当前请求并发数小于最大请求数，基于多个少量数据请求获取海量数据。本发明实施例提供的技术方案中，解决了获取海量数据请求超时、失败等问题，同时也解决了并发任务过多时，会对服务器产生压力的问题，提高了获取海量数据的效率。
一种获取海量数据方法装置存储介质服务器