“小文件”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果227294个，建议您升级VIP下载更多相关专利

[发明专利]一种基于Hadoop的小文件分级索引的存储优化方法-CN201510557719.X在审
发明人：戴彬;王雄;张焜 -专利权人：华中科技大学
申请日： 2015-09-02 - 公布日： 2015-12-23 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于hadoop的小文件分级索引的存储优化方法，能够向HDFS文件系统上传海量小文件和提高存储在HDFS系统中的小文件索引效率。主要包括以下步骤：(1)WebServer监听文件读写请求,判断文件的大小是否小于HDFS文件系统设置的块大小；(2)大于块的大小的文件按照正常HDFS文件进行读取或写入，小于块的大小的文件被划分为小文件，送入小文件处理服务器进行处理；(3)在小文件处理服务器内部，设有一个判断模块，将1～1023KB的小文件设置为K级小文件，将1M～64M的小文件设置为M级小文件；(4)在小文件处理服务器还设有缓存，可根据文件相关性，在文件分离时预取一部分小文件，并设计缓存更新策略，来提高文件访问效率。
一种基于 hadoop 文件分级索引存储优化方法

[发明专利]小文件处理方法及分布式系统-CN201811584645.9在审
发明人：徐靖华 -专利权人：海能达通信股份有限公司
申请日： 2018-12-24 - 公布日： 2019-04-26 - 主分类号： G06F16/182 文献下载
摘要：本申请公开了小文件处理方法及系统，应用于分布式系统的存储节点组，所述存储节点组包括元数据服务器和与所述元数据服务器相连多个块数据服务器；所述小文件处理方法包括：所述元数据服务器确定所述存储节点组中小文件的访问量；对于访问量低的小文件减少小文件的备份数量；对于访问量高的小文件增加小文件的备份数量。本申请中元数据服务器确定所述存储节点组中小文件的访问量；对于访问量不同的小文件，区别对待访问量不同的小文件的占用空间，对于访问量低的小文件减少小文件的备份数量；对于访问量高的小文件增加小文件的备份数量，
小文件访问量存储节点备份元数据服务器分布式系统数据服务器大量存储访问效率占用空间块数据申请服务器应用

[发明专利]一种文件存储方法、装置、设备及存储介质-CN202211103268.9在审
发明人：梁永林;文瑞超 -专利权人：苏州浪潮智能科技有限公司
申请日： 2022-09-09 - 公布日： 2023-01-31 - 主分类号： G06F3/06 文献下载
摘要：本申请公开了一种文件存储方法、装置、设备及存储介质，涉及计算机技术领域，包括：接收客户端发送的文件存储请求，并判断文件存储请求对应的待存储文件是否为小文件；如果待存储文件为小文件，则将待存储文件写入HBase数据库中；如果待存储文件非所述小文件，则将待存储文件写入Hadoop分布式文件系统中。本申请通过判断待存储文件是否为小文件，对大文件，小文件分别处理，也就是说，在待存储文件为小文件时，将小文件写入HBase数据库中进行存储，在待存储文件非小文件，即大文件时，将大文件写入擅长处理大文件的HDFS中，即Hadoop分布式文件系统，从而减少HDFS大量小文件的元数据信息管理的过程，能够实现海量小文件的高效存储，提高HDFS环境下小文件的读写效率。
一种文件存储方法装置设备介质

[发明专利]一种基于HDFS的海量小文件存储优化方法-CN201910175055.9有效
发明人：王健;韩永鹏;崔运鹏;刘娟;胡林;苏航;梁毅 -专利权人：中国农业科学院农业信息研究所;北京工业大学
申请日： 2019-03-08 - 公布日： 2021-07-23 - 主分类号： G06F16/11 文献下载
摘要：一种基于HDFS的海量小文件存储优化方法，属于存储性能优化领域，包括：初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息，对文件访问状况进行分析，计算文件之间的相关度，形成文件关联性映射集。根据所形成的文件关联性映射集，对小文件进行分类暂存，将相关度高的小文件暂存在一起，同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储，将小文件的原件及副本进行删除，将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储，充分考虑了小文件的相关性和小文件的大小分布，有效地降低了名称结点的内存开销，提高了HDFS对小文件的存取效率。
一种基于 hdfs 海量文件存储优化方法

[发明专利]基于Hadoop分布式计算平台的存储系统-CN201210305545.4无效
发明人：陈国庆;钱扬帆 -专利权人：苏州两江科技有限公司
申请日： 2012-08-27 - 公布日： 2013-01-30 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块、文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列该系统减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。
基于 hadoop 分布式计算平台存储系统

[发明专利]一种海量小文件读写方法、系统、电子设备及存储介质-CN202211035779.1在审
发明人：罗心;李冬伟;江文龙;周明伟 -专利权人：浙江大华技术股份有限公司
申请日： 2022-08-26 - 公布日： 2022-12-16 - 主分类号： G06F16/13 文献下载
摘要：本发明公开了一种海量小文件读写方法、系统、电子设备及存储介质，其中，该方法包括：获取小文件；基于所述小文件确定待合并文件列表；根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件；其中，所述聚合文件是以大文件形式在云存储系统中创建的云存储文件；基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统；基于所述键值对读取并下载所述小文件。通过上述方案，在获取小文件后，将小文件以大文件的形式进行存储，并在外挂存储系统中设定相应的键值对，依据键值对进行小文件的读写，可实现海量小文件快速读写，提升海量小文件读写效率。
一种海量文件读写方法系统电子设备存储介质

[发明专利]一种采用后缀数组索引的海量小文件查询方法及系统-CN201811133108.2有效
发明人：赵鑫;孙茜;农革 -专利权人：中山大学
申请日： 2018-09-27 - 公布日： 2021-09-21 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种采用后缀数组索引的海量小文件查询方法。本发明通过合并小文件后存储到分布式文件系统上提高空间利用率，同时对每一个小文件建立后缀数组索引记录其存储信息以及小文件本身属性信息，并提供有效的小文件更新方法，支持多种方式的小文件查询，避免了传统的单一低效的海量小文件查询解决了现有技术中简单合并小文件导致小文件查询方式单一、读取效率低下、小文件更新困难、查询即时性差等问题。
一种采用后缀数组索引海量文件查询方法系统

[发明专利]一种文件存储方法、系统、存储介质和电子设备-CN202310782767.3在审
发明人：卢博;刘强;陈保平 -专利权人：济南浪潮数据技术有限公司
申请日： 2023-06-29 - 公布日： 2023-09-19 - 主分类号： G06F3/06 文献下载
摘要：本申请提供一种文件存储方法、文件存储系统、计算机可读存储介质和电子设备，该方法包括：检测到小文件数据时，将所述小文件数据缓存至小文件数据池；所述小文件数据池中小文件数据以数据块链的形式缓存；确定所述小文件数据池中各小文件数据的访问频率，将访问频率大于设定频率的小文件数据作为热数据，将访问频率低于所述设定频率的小文件数据作为冷数据；将所述热数据缓存至内存中，并对冷数据压缩存储至磁盘。本申请避免频繁从硬盘读写小文件数据，以提升读写性能。将所存储的小文件数据以数据块链的形式缓存，以此来建立数据块之间的依赖关系，提高对于小文件数据的访问效率。
一种文件存储方法系统介质电子设备

[发明专利]小文件管理方法、电子设备及存储装置-CN202010673889.5在审
发明人：李青青;罗心 -专利权人：浙江大华技术股份有限公司
申请日： 2020-07-14 - 公布日： 2020-11-24 - 主分类号： G06F16/172 文献下载
摘要：本申请公开了一种小文件管理方法、存储服务器及存储装置。其中，小文件管理方法包括：响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为待写入小文件分配写入地址；基于待写入小文件的写入信息，生成待写入小文件的索引信息和读取地址；其中，写入信息至少包括写入地址，索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件；按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中。上述方案，能够拒绝掉一些非法的请求、屏蔽掉数据暴露的风险，提高小文件读写的安全性和可靠性。
文件管理方法电子设备存储装置

[发明专利]一种小文件的定位方法及系统-CN201410850201.0有效
发明人：许焰;周明伟;江文龙 -专利权人：浙江大华技术股份有限公司
申请日： 2014-12-30 - 公布日： 2015-10-07 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及互联网领域，具体公开了一种小文件的定位方法及系统，用以提高小文件的定位能力。该方法为：接收客户端发送的小文件读取请求后，确定该小文件的目录对应的元数据文件，根据小文件的标识信息，以及预设的小文件的索引信息，确定小文件的元数据信息在元数据文件中的存储位置，并基于存储位置获取小文件的元数据信息，基于小文件的元数据信息，向该客户端通知保存有该容器的相关存储节点的位置，令该客户端从相关存储节点读取该小文件的切片数据和校验码。这样，可以提高小文件的定位能力，降低索引的复杂度，并提高系统的索引及存储性能。
一种文件定位方法系统

[发明专利]Hadoop分布式文件系统针对日志型小文件的存储和处理方法-CN201510137574.8有效
发明人：徐锐;刘斌;台宪青 -专利权人：江苏物联网研究发展中心;北京科电高技术公司;中国科学院国有资产经营有限责任公司
申请日： 2015-03-26 - 公布日： 2018-03-30 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及计算机HDFS分布式文件系统领域，公开了一种HDFS针对日志型小文件的存储和处理方法，将文件按物理位置就近合并，同时使用Copy‑On‑Write机制优化小文件的读写。具体为，将日志型小文件按照物理路径就近合并，客户端读写日志型小文件时先从名字节点NameNode读取合并文件和合并文件索引的元数据Metadata信息，然后根据合并文件索引从合并文件中读写各个日志型小文件数据本发明针对日志型小文件，提出了一种新的处理方法，该方法将小文件metadata的内存负担从NameNode转移到了客户端，有效的解决了HDFS处理大量小文件的低效问题。客户端缓存小文件metadata也使得小文件的访问得到加速，多次连续访问物理位置临近的小文件时无需向NameNode请求metadata。
hadoop 分布式文件系统针对日志文件存储处理方法

[发明专利]小文件迁移方法、装置、设备及计算机可读存储介质-CN201711147164.7有效
发明人：孔军 -专利权人：郑州云海信息技术有限公司
申请日： 2017-11-17 - 公布日： 2020-05-29 - 主分类号： G06F16/11 文献下载
摘要：本发明公开了一种小文件迁移方法、装置、设备及计算机可读存储介质，包括：加载待迁移的小文件；根据预设迁移策略迁移待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载待迁移的小文件，当达到预设恢复条件时，恢复加载待迁移的小文件；若否，则继续加载待迁移的小文件。利用本发明，在加载待迁移的小文件达到迁移上限时，停止加载待迁移的小文件，避免了无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高了分布式存储能力的利用率和海量小文件的迁移效率。
文件迁移方法装置设备计算机可读存储介质

[发明专利]HDFS小文件存储处理方法及NameNode-CN202211277025.7在审
发明人：刘利刚 -专利权人：中国银行股份有限公司
申请日： 2022-10-18 - 公布日： 2022-12-23 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种HDFS小文件存储处理方法及NameNode，涉及分布式技术领域，其中该方法包括：接收多个客户端的小文件存储请求；通过预先创建的小文件存储空间给每一客户端分配一个小文件存储块以供每一客户端进行存储处理；所述小文件存储空间为NameNode在HDFS内部创建的用于存储小于预设大小文件的存储空间，所述小文件存储空间被分为多个小文件存储块。本发明可以从本质上解决小文件存储问题，减小NameNode的性能问题，在执行小文件读取任务时节省集群资源。
hdfs 文件存储处理方法 namenode

[发明专利]小文件管理电路-CN201210461856.X在审
发明人：王永流;牟晨杰 -专利权人：上海华虹集成电路有限责任公司
申请日： 2012-11-16 - 公布日： 2014-05-28 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种小文件管理电路，状态机根据软件的配置和指示，对缓冲器中小文件的位置和大小进行记录；利用空闲时间，状态机指示FLASH控制电路将FLASH中已有的且未拼接的小文件读到缓冲器中；根据当前小文件的大小，计算出已有小文件中与当前小文件适合拼接的小文件；控制所述缓冲器把当前小文件和与之匹配的小文件存在一起；将拼接完成后的小文件，从缓冲器写入到FLASH；对FLASH编程；利用空闲时间，所述状态机指示FLASH控制电路将拼接完成后且已写入FLASH的小文件所占有的在拼接之前的FLASH空间擦除。本发明能有效提高小文件的访问速度。
文件管理电路

[发明专利]大批量文件数据存放和读取方法-CN200710199002.8无效
发明人：易国真 -专利权人：高德软件有限公司
申请日： 2007-12-05 - 公布日： 2009-06-10 - 主分类号： G06F17/30 文献下载
摘要：本发明公开一种大批量文件数据存取方法，包括将所有小文件的数据合并成一个大文件；建立每个小文件的文件名及其文件编号的一一对应关系；建立每个所述文件编号与小文件的文件信息的对应关系，所述文件信息包括所述小文件在所述大文件中的位置相应地，本发明还公开一种大批量文件数据读取方法，用于读取按照本发明的存放方法存放的文件数据，包括步骤：根据小文件的文件名来获得所述小文件的文件编号；根据所述文件编号获得所述小文件的文件信息；根据所述文件信息获得所述小文件在大文件中的位置；根据所述小文件在大文件中的位置，通过所述大文件的IO接口实现对所述小文件数据的读取。
大批量文件数据存放读取方法