“海量数据存储”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3373592个，建议您升级VIP下载更多相关专利

[发明专利]一种基于主从分布式文件系统的海量小文件存储方法-CN201310009182.4有效
发明人：王蕾;何连跃;徐叶;李姗姗;戴华东;吴庆波;丁滟;黄辰林;付松龄 -专利权人：中国人民解放军国防科学技术大学
申请日： 2013-01-10 - 公布日： 2013-04-03 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于主从分布式文件系统的海量小文件存储方法，目的是解决主从分布式文件系统存储海量小文件产生的问题。技术方案是先部署并初始化海量小文件存储系统，然后客户端的SmallFileAPI根据从键盘接受的指令对小文件进行创建或读取。系统创建小文件时，SmallFileAPI根据从客户端获得的小文件路径新建小文件的数据文件，并写入小文件数据，同时在数据结点上创建小文件索引；系统读取小文件时，根据小文件路径获取其父目录对应的数据结点信息，并向其中任一数据结点发送索引请求，最后根据索引信息从数据文件中读取小文件数据。采用本发明可以解决海量小文件存储元数据庞大的问题，提高海量小文件存储系统写效率，且可保证系统的可靠性。
一种基于主从分布式文件系统海量文件存储方法

[发明专利]一种采样数据预处理方法-CN201910337138.3在审
发明人：黄彦浩;李文臣;仲悟之;郑惠萍;刘新元;宋述勇;王艺璇;孙丽香;徐树文;安宁;李芳;陈兴雷;徐希望;丁平;赵敏;文晶;杨小煜;蔡靖;李木一;田鹏飞 -专利权人：中国电力科学研究院有限公司;国家电网有限公司;国网山西省电力公司电力科学研究院
申请日： 2019-04-25 - 公布日： 2019-09-06 - 主分类号： G06F17/50 文献下载
摘要：本发明涉及一种采样数据预处理方法，所述方法包括：步骤S11：针对采样数据的缺失值的预处理；步骤S12：针对高维数据进行预处理。本发明为满足风机不对称故障恢复过程响应仿真曲线结果数据的存储要求，本发明提供了结合了历史文件数据库和实时内存数据库技术的，面向海量数据的快速检索仿真曲线库实现方法，由于其海量数据存储、高速检索数据的特点，可以实现最佳的仿真结果数据的海量存储。
预处理采样数据实时内存数据库仿真结果数据海量数据存储响应仿真曲线不对称故障存储要求仿真曲线高速检索高维数据海量存储海量数据恢复过程结果数据快速检索历史文件风机数据库

[发明专利]一种支持事务的海量存储访问方法及装置-CN201210311723.4有效
发明人：周训波;王宇;林荣华 -专利权人：大唐软件技术股份有限公司
申请日： 2012-08-28 - 公布日： 2016-10-26 - 主分类号： H04L29/08 文献下载
摘要：本申请提供了一种支持事务的海量存储访问方法及装置，其中，支持事务的海量存储访问方法包括：接收网页命令形式的WEB存储访问指令；确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络系统中的一个或多个存储设备中；根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。通过本申请，以较低成本，实现了海量数据的直接快速存储访问，并具备在网络环境下的数据事务处理能力。
一种支持事务海量存储访问方法装置

[发明专利]基于样本数据的数据探测和扩充方法及装置-CN201611264829.8有效
发明人：汤奇峰;李炳辉 -专利权人：晶赞广告（上海）有限公司
申请日： 2016-12-30 - 公布日： 2020-05-01 - 主分类号： G06F16/23 文献下载
摘要：一种基于样本数据的数据探测和扩充方法及装置，所述方法包括如下步骤：基于数据库中的至少一条数据确定所述样本数据，所述数据库存储有从海量数据中探测获得的多条数据；基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据；对所述匹配数据进行处理以获得匹配规则，并更新指纹库，所述指纹库存储有历史上获得的匹配规则；基于更新后的指纹库在所述海量数据中进行匹配提取，以获得所述海量数据中与所述更新后的指纹库中的匹配规则相匹配的数据，并将匹配获得的数据扩充至所述数据库。通过本发明提供的技术方案能够更加准确、高效的对海量数据进行全局、系统的分析和处理。
基于样本数据探测扩充方法装置

[发明专利]基于redis的海量数据存储方法、装置、介质和设备-CN201811231456.3在审
发明人：南强 -专利权人：平安科技（深圳）有限公司
申请日： 2018-10-22 - 公布日： 2019-04-09 - 主分类号： G06F16/2458 文献下载
摘要：本发明提供了一种基于redis的海量数据存储方法、装置、介质和设备；该方法包括：接收数据存储指令；获取所述数据存储指令关联的用户数据，所述用户数据包含若干个数据段，每个数据段关联一个用户身份标识；为各个用户身份标识分配对应的序列号；根据所述序列号分别存储各个用户身份标识关联的数据段。本发明技术方案，将海量数据存储在内存上的redis数据库，既能够实现海量数据的存储任务，而为用户分配序列号，根据序列号来存储用户数据能够有效提高查询数据时的遍历速度，进而提高获取用户数据的速度。
海量数据存储用户身份标识用户数据数据段关联存储存储用户数据接收数据存储数据存储指令查询数据海量数据用户分配遍历数据库指令分配

[发明专利]一种使海量存储类设备能提供智能卡接口的装置及方法-CN200610112608.9有效
发明人：陆舟;于华章 -专利权人：北京飞天诚信科技有限公司
申请日： 2006-08-25 - 公布日： 2007-02-14 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种使海量存储类设备能提供智能卡接口的装置及方法。所述装置为虚拟读卡器驱动层，包括：监控模块，用于监控海量存储类设备的插入和拔除，获取海量存储类设备对象的名称；PC/SC接口模块，对应用层提供标准符合PC/SC规范的驱动接口，接收从应用层发来的IRP，并将该IRP传递给数据处理模块；数据处理模块，用来接收并处理通过PC/SC接口模块从应用层发来的IRP并重新组装数据包，根据监控模块获取的海量存储类设备对象的名称向磁盘类驱动层发送数据包。所述装置的工作方法包括监控步骤和数据处理步骤。通过本发明实现了海量存储类设备智能卡功能，使其使用方法更加灵活，应用领域更加广泛。
一种海量存储设备提供智能卡接口装置方法

[发明专利]一种基于大数据分析的房产信息服务系统及其使用方法-CN201810820677.8在审
发明人：赵明 -专利权人：安徽三实软件科技有限公司
申请日： 2018-07-24 - 公布日： 2019-01-04 - 主分类号： G06Q10/04 文献下载
摘要：本发明属于信息服务系统领域并公开了一种基于大数据分析的房产信息服务系统及其使用方法；包括海量数据采集模块、海量数据存储服务器、大数据分析模块、深度学习模块和数据输出模块，其中：所述的海量数据采集模块与海量数据源连接，所述的海量数据存储服务器与海量数据采集模块相连接，所述的深度学习模块与大数据分析模块相连接，所述的大数据分析模块包括房产特性指标分析模块、影响因素和影响机理分析模块、用户行为模式分析模块；所述的数据输出模块与大数据分析模块连接发明房产信息系统统计的数据以大数据的数据获取、融合、挖掘为支持，可以更好的发挥房产数据和大数据的价值，提升数据资源的可利用性。
大数据分析模块海量数据采集房产信息海量数据存储数据输出模块服务系统学习模块服务器信息服务系统用户行为模式海量数据可利用性数据获取数据资源特性指标系统统计影响机理影响因素源连接分析融合挖掘

[发明专利]一种海量数据的分级存储管理方法-CN201910891478.0在审
发明人：倪亚晖;刘志亮;赵锦春;王超;王常捷;吴鎏玺;赵春晓 -专利权人：倪亚晖;刘志亮;赵锦春;王超;王常捷;吴鎏玺;赵春晓
申请日： 2019-09-20 - 公布日： 2020-01-17 - 主分类号： G06F16/22 文献下载
摘要：本发明涉及一种海量数据的分级存储管理方法，包括：确定待存储数据的状态：冷数据、热数据、在线数据、近线数据；当待存储数据为热数据时，将数据源从HDFS加载到Inceptor中的分布式内存列式存储Holodesk中，通过内存加速分析，在秒级别响应，对数据进行交互式探索挖掘；当待存储数据为冷数据时，利用Erasure Code的可配置策略，将源数据块存入指定HDFS目录下，通过Raid Server监控，在指定生命周期后将指定目录下的文件降低其副本数为1，并由10个数据块生成4个冗余校验块。本发明提出的一种海量数据的分级存储管理方法，能够实现海量数据的分级存储，节约了存储成本。
待存储数据海量数据分级存储管理冷数据热数据内存冗余校验块数据块生成存储成本分级存储近线数据生命周期源数据块在线数据可配置数据源加载副本存储监控节约挖掘响应分析探索

[发明专利]基于区块链的海量离线数据可信任存储方法及系统-CN202210649375.5在审
发明人：刘祥志;雷步海;孙丰收;荀杰;乔友为;满佳政;魏云美 -专利权人：山东山科智能科技有限公司
申请日： 2022-06-10 - 公布日： 2022-07-12 - 主分类号： G06F21/62 文献下载
摘要：本发明涉及数据离线存储技术领域，本发明公开了基于区块链的海量离线数据可信任存储方法及系统，应用于数据管理器，包括：获取采集的视频数据；对采集的视频数据进行处理，得到特征码；将视频数据存储到存储设备中，得到视频在存储设备中的存储位置信息；将视频存储位置信息和特征码打包为一个数据信息块，将数据信息块发送到区块链节点，完成数据的上链存储。有效地兼容了监管部门等应用场景中的原有视频、图像和文件等海量存储设备，充分利用了区块链系统去中心化和数据安全性的优点，实现了非区块链海量离线存储数据的防篡改。
基于区块海量离线数据可信任存储方法系统

[发明专利]安防监控存储方法-CN201210373616.4无效
发明人：党夏宁 -专利权人：西安星云网络有限公司
申请日： 2012-09-30 - 公布日： 2013-03-27 - 主分类号： H04N7/18 文献下载
摘要：一种安防监控存储方法，经由当监控数据需要海量存储时，安防监控系统通过通用串行总线Hard_Disk_Drive驱动器驱动中断控制器，同时将海量存储数据先放入大容量数据缓存，然后中断控制器激活ARM嵌入式控制器将大容量数据缓存的海量存储数据直接发送到通用串行总线避免了DVR存储这样应用会造成系统负荷增加，故障率提高，同时，由于数据没有必要的保护措施，经常会由于硬盘损坏造成数据丢失的问题。
监控存储方法

[发明专利]实时控制网络中的海量数据处理方法-CN201410466414.3在审
发明人：章伟杰;郭荣;屠勤;陈蒙;杨景祺;翟淑伟;赵忠 -专利权人：上海发电设备成套设计研究院
申请日： 2014-09-12 - 公布日： 2014-12-24 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种实时控制网络中的海量数据处理方法，其特征在于，包括如下步骤：步骤1、针对工业过程中的实际应用，增加多个种类与该工业过程相对应的快速数据采样输入模块；步骤2、通用数据采样模块通过现场总线采样到数据后存入高速存储单元内，以高速存储单元作为数据预先缓冲存储空间，再由高速存储单元将缓冲的海量数据通过网络通讯接口及网络传输给接入同一网络的海量数据分析诊断工作站。本发明的优点是在过程数据快速采样系统或旋转机械诊断分析系统中既保证了过程控制参数的实时性，又提供海量数据处理方法，减少现场设备和工程工作量。
实时控制网络中的海量数据处理方法

[发明专利]一种海量非结构化数据的存储系统和管理方法-CN201310015972.3在审
发明人：莫德寿 -专利权人：深圳市连用科技有限公司
申请日： 2013-01-15 - 公布日： 2013-05-08 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量非结构化数据存储系统，该系统包括：在线存储池，由高速存储阵列组成，实现各种终端或应用系统的非结构化数据的实时高速存储和访问。近线归档池，由大容量存储阵列组成，实现在线存储池数据的定期归档和备份。离线归档池，由大容量磁带库组成，实现近线归档池数据的定期归档和备份。各类终端或应用系统，产生和实际使用非结构化数据的设备。针对公开的海量非结构化数据存储系统，本发明还公开了一种海量非结构化数据存储的管理方法。本发明公开的海量非结构化数据存储系统及管理方法提供了统一的基于存储池的空间管理功能，可以支持PB级存储容量和支持数千客户端的并发访问，不但简化了各种不同类型存储设备的管理，同时节约了存储系统的成本和资金支出
一种海量结构数据存储系统管理方法

[发明专利]加气站SCADA系统海量数据处理方法-CN201610507202.4有效
发明人：沈青祁;王靓;赵锴;周金广;赵亮;晏祖泽;王林;唐顺武;许超;胥泽文;许延贺;易思安;李嘉清;朱建国;陈桂强;王万胜;谢涛;钟杰;罗奕;王凯;孙勇;李洪彪 -专利权人：中国石化销售有限公司;中国石化销售有限公司重庆石油分公司;中国石化销售有限公司江苏石油分公司;重庆耐德工业股份有限公司;重庆耐德自动化技术有限公司
申请日： 2016-06-30 - 公布日： 2019-03-08 - 主分类号： G06F16/21 文献下载
摘要：本发明公开了一种加气站SCADA系统海量数据处理方法，通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。
加气站 scada 系统海量数据处理方法

[发明专利]海量元数据分片分布的方法及装置-CN201710005810.X在审
发明人：李雪生 -专利权人：郑州云海信息技术有限公司
申请日： 2017-01-05 - 公布日： 2017-08-18 - 主分类号： G06F17/30 文献下载
摘要：本发明属于文件系统海量元数据分布技术领域，公开了一种海量元数据分片分布的方法，包括将单目录的元数据数据块划分为多个元数据分片；元数据数据块依据预定规则分布在不同的元数据分片上；将不同的元数据分片分别存储在多个存储设备上本发明还公开了一种海量元数据分片分布的装置，包括单目录元数据数据块划分模块、第一元数据数据块分布模块和元数据分片存储模块。本发明解决了单目录海量数目的文件，文件系统元数据管理效率低的问题，本发明将单目录的元数据数据块划分为多个元数据分片，元数据分片大小的减小，能够实现元数据缓存的加载、同步。
海量数据分片分布方法装置

[发明专利]一种海量数据质量检核方法及其系统-CN202110549386.1有效
发明人：宋成平 -专利权人：睿至科技集团有限公司
申请日： 2021-05-20 - 公布日： 2021-08-03 - 主分类号： G06F16/215 文献下载
摘要：本申请公开了一种海量数据质量检核方法及其系统，其中，海量数据质量检核系统包括：电力数据中台、容器云和服务器集群；服务器集群包括多个服务器；电力数据中台用于存储待检核的海量数据并允许服务器集群进行访问；容器云用于从服务器集群中选择执行服务器；服务器集群用于对基础信息进行独立部署，确定数据检核信息并上传；根据数据检核信息对海量数据进行访问，确定待检核的海量数据的数据切块和数据检核任务的并行数量；根据并行数量确定需要调度的执行服务器；由执行服务器对数据切块进行处理，生成检核结果；对检核结果进行存储。本申请具有支持调度无限制的数据质量检核任务的执行、支持海量数据的数据质量检核结果分析和检索的技术效果。
一种海量数据质量检核方法及其系统