“海量小文件”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果240632个，建议您升级VIP下载更多相关专利

[发明专利]一种基于主从分布式文件系统的海量小文件存储方法-CN201310009182.4有效
发明人：王蕾;何连跃;徐叶;李姗姗;戴华东;吴庆波;丁滟;黄辰林;付松龄 -专利权人：中国人民解放军国防科学技术大学
申请日： 2013-01-10 - 公布日： 2013-04-03 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于主从分布式文件系统的海量小文件存储方法，目的是解决主从分布式文件系统存储海量小文件产生的问题。技术方案是先部署并初始化海量小文件存储系统，然后客户端的SmallFileAPI根据从键盘接受的指令对小文件进行创建或读取。系统创建小文件时，SmallFileAPI根据从客户端获得的小文件路径新建小文件的数据文件，并写入小文件数据，同时在数据结点上创建小文件索引；系统读取小文件时，根据小文件路径获取其父目录对应的数据结点信息，并向其中任一数据结点发送索引请求，最后根据索引信息从数据文件中读取小文件数据。采用本发明可以解决海量小文件存储元数据庞大的问题，提高海量小文件存储系统写效率，且可保证系统的可靠性。
一种基于主从分布式文件系统海量文件存储方法

[发明专利]海量小文件的分布式存储方法和系统-CN201810918747.3有效
发明人：唐鹏;谢彬;解维;居晓清;张楠;侯亮 -专利权人：华东计算技术研究所（中国电子科技集团公司第三十二研究所）
申请日： 2018-08-13 - 公布日： 2020-07-24 - 主分类号： G06F16/182 文献下载
摘要：本发明提供海量小文件的分布式存储方法和系统，包括将物理磁盘通过逻辑分区形成多个虚拟磁盘；根据海量小文件的文件命名规则进行分类，创建目录索引树；根据文件命名规则解析所存储的海量小文件的文件名，获取其在目录索引树中的存储位置，存储海量小文件，对应的存储目录记为原始目录，并对海量小文件进行冗余存储，对应的存储目录记为冗余目录；当出现所述原始目录、所述冗余目录两者中的文件数据不一致时，触发数据同步与恢复操作。本发明针对海量小文件的分布式存储，在存储大量小文件时通过建立索引及文件名定位，实现在海量数据中迅速定位信息，在可靠性上利用数据冗余来保证，机制简单，容错性强，在保证正确性的同时减少元数据存储空间。
海量文件分布式存储方法系统

[发明专利]一种海量小文件的存储、访问方法及装置-CN201210067404.3有效
发明人：刘晓云 -专利权人：北京搜狐新媒体信息技术有限公司
申请日： 2012-03-14 - 公布日： 2012-09-12 - 主分类号： G06F17/30 文献下载
摘要：本申请实施例公开了一种海量小文件的存储方法。该方法包括：将接收的小文件顺序写入存储基元；根据小文件在存储基元的起始地址和容量大小确定所述小文件所属的文件组，以及小文件在该文件组内的序号，所述文件组包含至少两个小文件；以所述文件组的标识号与小文件的序号为索引，建立与小文件的文件名之间的对应关系以实现存储。本申请实施例还公开了一种海量小文件的访问方法，以及与上述两种方法对应的海量小文件的存储装置和访问装置。本申请实施例压缩了小文件的目录索引结构，节约了存储开销，提高了小文件的存储和访问效率。
一种海量文件存储访问方法装置

[发明专利]一种海量小文件的归集方法及装置-CN202210920928.6在审
发明人：崔翔;周竣涛;辛子英 -专利权人：中信百信银行股份有限公司
申请日： 2022-08-02 - 公布日： 2022-11-01 - 主分类号： H04L67/06 文献下载
摘要：本发明涉及计算机技术领域，尤其涉及一种海量小文件的归集方法及装置，包括以下步骤：各地域服务器安装小文件归集客户端，触发小文件归集事件；小文件归集客户端扫描小文件的索引节点，并通过小文件的索引节点访问相对应的文件块；根据配置的地域归集调度策略，获取小文件的索引节点和文件块信息生成小文件元清单，并将小文件元清单上报归集调度中心；根据地域归集调度策略及小文件的索引节点，生成镜像文件，并上传镜像文件至归集调度中心。该方法能有效的解决当前海量小文件的打包、传输、引用、访问，且能够有效的解决海量小文件的校验、重定向、读取等操作，有效的保证业务系统安全。
一种海量文件方法装置

[发明专利]一种基于Redis和HDFS的海量小文件存储方法-CN202011528833.7在审
发明人：成军;祖佳征;杨勤 -专利权人：浪潮卓数大数据产业发展有限公司
申请日： 2020-12-22 - 公布日： 2021-04-13 - 主分类号： G06F16/13 文献下载
摘要：本发明特别涉及一种基于Redis和HDFS的海量小文件存储方法。该基于Redis和HDFS的海量小文件存储方法，当小文件上传时，先将小文件存储在缓存数据库Redis中，配置定时器，定时检查小文件是否已达既定的合并阈值，当达到合并阈值后通过HDFS提供的接口将缓存文件合并，将合并后的缓存文件上传至HDFS即可。该基于Redis和HDFS的海量小文件存储方法，将小文件合并成Sequence File存储在HDFS上，增加了小文件在HDFS中的存储效率，同时采用缓存的方式提高了小文件的读取性能，适宜推广应用。
一种基于 redis hdfs 海量文件存储方法

[发明专利]一种海量小文件读写方法、系统、电子设备及存储介质-CN202211035779.1在审
发明人：罗心;李冬伟;江文龙;周明伟 -专利权人：浙江大华技术股份有限公司
申请日： 2022-08-26 - 公布日： 2022-12-16 - 主分类号： G06F16/13 文献下载
摘要：本发明公开了一种海量小文件读写方法、系统、电子设备及存储介质，其中，该方法包括：获取小文件；基于所述小文件确定待合并文件列表；根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件；其中，所述聚合文件是以大文件形式在云存储系统中创建的云存储文件；基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统；基于所述键值对读取并下载所述小文件。通过上述方案，在获取小文件后，将小文件以大文件的形式进行存储，并在外挂存储系统中设定相应的键值对，依据键值对进行小文件的读写，可实现海量小文件快速读写，提升海量小文件读写效率。
一种海量文件读写方法系统电子设备存储介质

[发明专利]一种基于NoSQL的海量航空物流小文件存储结构及其存取方法-CN201610481858.3在审
发明人：丁建立;郑峰弓;李永华;李国;王怀超 -专利权人：中国民航大学
申请日： 2016-06-23 - 公布日： 2016-09-28 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于NoSQL的海量航空物流小文件存储结构及其存取方法，其中基于NoSQL的海量航空物流小文件存储结构包括数据缓存区、数据活跃区和数据永久区；基于NoSQL的海量航空物流小文件存储结构的文件存取方法包括文件存储、文件访问和文件永久化处理三个过程；该基于NoSQL的海量航空物流小文件存储结构及其存取方法设计多级存储机制，并采用文件的预取机制，有效提高了小文件的存取效率，显著地降低了集群NameNode的内存消耗
一种基于 nosql 海量航空物流文件存储结构及其存取方法

[发明专利]基于HBase的海量小文件低延时存储方法-CN201310112130.X有效
发明人：魏超;鄢小征;栾江霞 -专利权人：厦门市美亚柏科信息股份有限公司
申请日： 2013-04-01 - 公布日： 2013-08-14 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种基于HBase的海量小文件低延时存储方法，其通过在Hadoop、HBase环境下建立一种包括一个行主键及两个列族的小文件表，从而建立适合小文件存储环境，并配套包括小文件写入、小文件续写及小文件读取应用流程，进而实现海量小文件的合理存储和低延时性读写，满足实际需求。
基于 hbase 海量文件延时存储方法

[发明专利]海量GNSS小文件云存储方法-CN201510204235.7有效
发明人：吕志平;李林阳;陈正生;崔阳;黄令勇;王宇谱;吕浩;孙大双 -专利权人：中国人民解放军信息工程大学
申请日： 2015-04-24 - 公布日： 2017-11-10 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及海量GNSS小文件云存储方法，有效解决海量GNSS小文件高效存储、管理、发布和共享的问题，方法是，首先将海量GNSS小文件合并为大文件，对合并后的大文件建立索引；并优化索引块存储策略，将切分后的文件块和索引块存储在数据块的节点或离数据块最近的数据节点上，将GNSS数据类型的索引存储在名称节点上，降低存储容量的消耗和名称节点的内存消耗，提高大量小文件写入、访问和删除的性能，本发明方法简单，易操作，节省存储空间，降低内存消耗，提高写入、读取和删除效率，有效提高海量GNSS小文件高效存储、管理、发布和共享之目的，是对海量GNSS小文件管理上的一大创新，经济和社会效益巨大。
海量 gnss 文件存储方法

[发明专利]一种采用后缀数组索引的海量小文件查询方法及系统-CN201811133108.2有效
发明人：赵鑫;孙茜;农革 -专利权人：中山大学
申请日： 2018-09-27 - 公布日： 2021-09-21 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种采用后缀数组索引的海量小文件查询方法。本发明通过合并小文件后存储到分布式文件系统上提高空间利用率，同时对每一个小文件建立后缀数组索引记录其存储信息以及小文件本身属性信息，并提供有效的小文件更新方法，支持多种方式的小文件查询，避免了传统的单一低效的海量小文件查询解决了现有技术中简单合并小文件导致小文件查询方式单一、读取效率低下、小文件更新困难、查询即时性差等问题。
一种采用后缀数组索引海量文件查询方法系统

[发明专利]海量小文件的传输方法、装置、设备及介质-CN202210910755.X在审
发明人：张婷;屠志丹 -专利权人：天翼云科技有限公司
申请日： 2022-07-29 - 公布日： 2022-12-20 - 主分类号： H04L67/06 文献下载
摘要：本发明提供了一种海量小文件的传输方法、装置、设备及介质。海量小文件的传输方法包括：扫描服务器，以获取存储有海量小文件的第一目标目录的目录信息，其中，目录信息至少包括第一目标目录的目录树结构。将第一数量的目录子集并发传输至接收设备，以使接收设备得到海量小文件。通过本发明提供的海量小文件的传输方法，能够在传输的过程中充分利用服务器的并发能力，进而有助于缩短传输海量小文件的传输时间，提高传输效率。
海量文件传输方法装置设备介质

[发明专利]一种基于Hadoop的海量非独立小文件关联存储方法-CN201110312671.8无效
发明人：郑庆华;董博;刘均;马瑞;宋凯磊 -专利权人：西安交通大学
申请日： 2011-10-15 - 公布日： 2012-01-25 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于Hadoop的海量非独立小文件关联存储方法，主要解决海量的非独立小文件存取效率和读取效率较低的问题。针对某个大文件被分割成的许多小文件，即非独立小文件，本发明的特征在于：(1)将属于某个大文件的所有小文件归并为一个文件，称为merged file；(2)对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；(3)在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。通过以上方法，提高了现有Hadoop系统存储小文件的存储效率和读取效率。本发明适用于通用场景下海量的非独立小文件的存储和管理。
一种基于 hadoop 海量独立文件关联存储方法

[发明专利]一种云计算架构下的混合云存储方法-CN201610853221.2在审
发明人：王德强;张连超;郭炜 -专利权人：浪潮软件集团有限公司
申请日： 2016-09-27 - 公布日： 2017-03-08 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种云计算架构下的混合云存储方法，属于复合云存储领域，本发明将大文件及超大文件将仍然存储到HDFS上，针对海量数据中小文件读写效率低的情况,提出一种基于HBase的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器（NameNode）的负载,并对上层应用系统提供透明的访问接口。该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。
一种计算架构混合存储方法

[发明专利]一种基于快速存储设备的海量小文件解决方法-CN201711380587.3在审
发明人：曹靖城;陆涛;高丽华;吕超;王霄雨 -专利权人：江苏省公用信息有限公司
申请日： 2017-12-20 - 公布日： 2018-07-17 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于快速存储设备的海量小文件解决方法，其包括步骤为：(1)采集小文件，对大小在1KB‑1MB小文件进行采集；(2)将小文件拆分为元数据和数据信息；(3)小文件元数据写入数据库，数据信息写入快速存储设备本发明不仅能够解决海量小文件元数据庞大，查找性能低下的问题，同时能够以较低的成本提升小文件读写性能问题，易于推广。
小文件快速存储设备海量小文件元数据数据信息写入采集查找性能读写性能归并数据库

[发明专利]基于Hadoop分布式文件系统的小文件存储方法-CN201410116155.1有效
发明人：樊凯;李慧莹;李晖 -专利权人：西安电子科技大学
申请日： 2014-03-26 - 公布日： 2017-05-17 - 主分类号： H04L29/08 文献下载
摘要：本发明公开一种基于Hadoop分布式文件系统的小文件存储方法，实现步骤为(1)新增两台服务器；(2)判断文件是否是小文件；(3)判断大文件请求状态；(4)判断小文件请求状态；(5)预处理写请求；(6)处理写请求；(7)检测缓存区；(8)预处理读请求；(9)处理读请求；(10)小文件分离；(11)建立预取记录；(12)更新预取记录。本发明相比现有技术存储海量小文件的方法，在保证系统通用性的同时，还具有读写性能效率高、缓解NameNode内存负担的优点，解决了海量小文件时NameNode内存占用率高、存储访问效率低的问题。本发明可用于分布式文件系统对海量小文件的存储和管理。
基于 hadoop 分布式文件系统文件存储方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条