“小文件”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果227294个，建议您升级VIP下载更多相关专利

[发明专利]基于分级存储的小文件处理方法、系统、终端及介质-CN202211102313.9在审
发明人：乐阳 -专利权人：成都泛联智存科技有限公司
申请日： 2022-09-09 - 公布日： 2022-11-08 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了基于分级存储的小文件处理方法、系统、终端及介质，涉及文件存储技术领域，其技术方案要点是：从固态硬盘中选取待迁移的批量小文件；将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的数据结构表。本发明在提高迁移数据流写入机械硬盘的速度时，不破坏初始各个小文件的文件结构，在小文件读取过程中，使得迁移后的小文件可直接读取，无需进行拆分操作，整个读取过程操作简单。
基于分级存储文件处理方法系统终端介质

[发明专利]一种机群文件系统中的小文件存储和访问方法-CN201010208495.9有效
发明人：祝明发;吴启蒙;李秀桥;董斌;肖利民;阮利 -专利权人：北京航空航天大学
申请日： 2010-06-24 - 公布日： 2010-10-20 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种机群文件系统中的小文件存储和访问方法。该方法有三大步骤：步骤一：设置阈值，区分大小文件；步骤二：在元数据服务器上，存储小文件的数据；步骤三：在元数据服务器上，进行小文件创建、读写和删除。由于本发明把小文件的数据存储在元数据服务器上，这样一来，对于小文件的IO访问操作，如创建、读写和删除等，发起IO访问的客户端只需要与元数据服务器交互，无需与数据服务器交互，减少了小文件访问的网络延迟，提高了小文件IO的性能，从而从整体上提高了机群文件系统的IO性能。它在计算机科学的机群文件系统领域具有广泛地实用价值和应用前景。
一种机群文件系统中的文件存储访问方法

[发明专利]一种数据集处理方法、装置、设备、介质及模型训练系统-CN202310451089.2有效
发明人：王继玉;郑玉会;赵潇瑶 -专利权人：山东英信计算机技术有限公司
申请日： 2023-04-25 - 公布日： 2023-08-04 - 主分类号： G06F3/06 文献下载
摘要：本发明涉及存储技术领域，具体公开了一种数据集处理方法、装置、设备、介质及模型训练系统，通过将小文件数据集以聚合文件数据集的形式写入存储系统，减少了将小文件数据写入存储系统的写次数；通过在模型训练中根据聚合文件数据集的元数据生成的迭代数据集信息列表自存储系统获取所需小文件时，对计算节点本地不具有所需小文件数据才在存储系统中获取该小文件数据所在的聚合文件到计算节点本地，减少了在模型训练过程中从存储系统读取小文件数据集的读次数，通过减少存储系统在模型训练过程中的小文件交互，提高了小文件处理效率以在提高存储性能的同时提高人工智能项目落地效率
一种数据处理方法装置设备介质模型训练系统

[发明专利]一种小文件的接收和存储方法及装置-CN201710641074.7在审
发明人：王勇 -专利权人：郑州云海信息技术有限公司
申请日： 2017-07-31 - 公布日： 2017-11-24 - 主分类号： G06F9/54 文献下载
摘要：本发明实施例公开了一种小文件的接收和存储方法及装置。其中，方法包括当接收到前端发送的文件时，根据所述文件的大小判断所述文件是否为小文件；当判定当前文件为小文件时，为当前文件设置信息标识，并根据信息标识将文件存放在相应的队列中；当检测到目标队列满足预设合并条件时，利用多线程技术对目标队列中的各文件进行合并，将合并后的文件发送至HDFS，并将合并过程中产生的各文件的元数据存储在数据库中。实现了快速实时接收小文件，并高速率实时存储海量小文件，大大的缩短了海量小文件的存储时间，有效的解决海量小文件并行接入导致的堵塞的现象，降低了文件丢失率，还降低了HDFS的内存开销，节约了存储空间。
一种文件接收存储方法装置

[发明专利]一种海量小文件数据存储方法、系统和存储介质-CN202210903856.4在审
发明人：阳惠;彭航;曾辉;徐春;罗英;王媛美;张思原;张倬;黄擎宇;杨昆霖 -专利权人：中国核动力研究设计院
申请日： 2022-07-28 - 公布日： 2022-11-01 - 主分类号： G06F16/13 文献下载
摘要：本发明公开了一种海量小文件数据存储方法、系统和计算机存储介质，通过获取待存储文件的文件目录；从所述文件目录中筛选出所有的小文件，建立小文件集；对所述小文件集进行聚类，得到文件集队列；将所述文件集队列中的文件集合进行合并，得到合并文件集队列；对所述合并文件集队列进行存储，从而减少了分布式文件系统中小文件对系统存储空间的占用数量，节省了存储空间，节约了硬件资源，解决了分布式文件系统存储大量小文件时NameNode出现系统瓶颈，以及频繁RPC带来网络带宽压力，使得分布式文件系统性能得到提升。
一种海量文件数据存储方法系统介质

[发明专利]一种分布式文件系统-CN201410295985.5有效
发明人：官全龙;胡舜;罗伟其;翁健 -专利权人：暨南大学
申请日： 2014-06-27 - 公布日： 2017-10-31 - 主分类号： G06F3/06 文献下载
摘要：本发明涉及一种分布式文件系统。其包括大文件存储服务器用于存储拆分后的大文件数据块，其中大文件为大于预设大小的文件；大文件元数据管理服务器，用于存储大文件的元数据、存储大文件存储服务器上大文件数据块的映射信息、管理大文件的命名空间和处理用户的请求信息；缓存服务器，用于存储小文件、小文件的元数据和缓存部分访问量大的大文件，其中，小文件指小于或等于预设大小的文件。本发明将大文件和小文件分开存储，大文件进行分块存储在大文件存储服务器上，小文件则存储在缓存服务器上，有效提高大小文件读写效率。
一种分布式文件系统

[发明专利]基于Hadoop分布式文件系统的小文件存储方法-CN201410116155.1有效
发明人：樊凯;李慧莹;李晖 -专利权人：西安电子科技大学
申请日： 2014-03-26 - 公布日： 2017-05-17 - 主分类号： H04L29/08 文献下载
摘要：本发明公开一种基于Hadoop分布式文件系统的小文件存储方法，实现步骤为(1)新增两台服务器；(2)判断文件是否是小文件；(3)判断大文件请求状态；(4)判断小文件请求状态；(5)预处理写请求；(6)处理写请求；(7)检测缓存区；(8)预处理读请求；(9)处理读请求；(10)小文件分离；(11)建立预取记录；(12)更新预取记录。本发明相比现有技术存储海量小文件的方法，在保证系统通用性的同时，还具有读写性能效率高、缓解NameNode内存负担的优点，解决了海量小文件时NameNode内存占用率高、存储访问效率低的问题。本发明可用于分布式文件系统对海量小文件的存储和管理。
基于 hadoop 分布式文件系统文件存储方法

[发明专利]一种加快小文件读取速度的方法、系统、设备和存储介质-CN202110409916.2在审
发明人：李伟;张在贵 -专利权人：山东英信计算机技术有限公司
申请日： 2021-04-15 - 公布日： 2021-07-13 - 主分类号： G06F3/06 文献下载
摘要：本发明提出了一种加快小文件读取速度的方法、系统、设备和存储介质，该方法包括通过聚合大文件的索引号判断内存客户端处理读请求时小文件是否存在对应的聚合大文件；获取小文件的聚合大文件元数据；并将数据加入内核客户端本地缓存；获取聚合大文件对应的file对象；通过元数据和file对象打开大文件；并将file对象加入内核客户端本地缓存，更新file对象的调用时间；基于聚合小文件和聚合大文件对应的file对象、读取输入输出的重构数据基于该方法，还提出了一种加快小文件读取速度的系统、设备和存储介质。本发明提高分布式文件系统小文件的读取性能；减少分布式文件系统小文件读取操作中的后端磁盘IO次数。
一种加快文件读取速度方法系统设备存储介质

[发明专利]一种文件传输方法、系统、设备以及介质-CN202011186820.6在审
发明人：何金彪;秦正;刘洋 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-10-29 - 公布日： 2021-01-29 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种文件传输方法，包括以下步骤：将待传输的大文件拆分成多个小文件；对每一个所述小文件进行编号，并加入到发送队列中；读取所述队列中的小文件以形成文件流；根据读取的小文件的编号确定对应的所述文件流的密钥和待加密的部分以利用所述密钥对所述待加密的部分进行加密；将加密后的文件流传输到目的端。本发明提出的方案，通过将大文件拆分成多个小文件，并对每个小文件进行编号，并根据编号确定密钥，这样使得每一个小文件都有独有的编号和密钥，保证了文件传输的绝对安全，同时由于只对文件流的部分进行加密，降低了性能损耗
一种文件传输方法系统设备以及介质

[发明专利]一种小文件数据重构恢复方法、系统、终端及存储介质-CN202011301679.X有效
发明人：鄢婷;魏坤;徐晓阳 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-11-19 - 公布日： 2022-11-25 - 主分类号： G06F11/14 文献下载
摘要：本发明提供一种小文件数据重构恢复方法、系统、终端及存储介质，包括：预先存储小文件数据重构策略模型；统计已恢复的对象数量和所述对象数量中的小文件数量占比；若所述小文件数量占比达到预设阈值，则判定当前恢复场景为小文件恢复场景；在所述小文件恢复场景下调用所述小文件数据重构策略模型；获取下个恢复周期的对象总数，并根据所述对象总数调整重构恢复的总带宽。
一种文件数据恢复方法系统终端存储介质

[发明专利]一种基于时空特性的交通事件视频存取方法及系统-CN201610389219.4在审
发明人：蒋昌俊;闫春钢;陈闳中;张亚英;喻剑;叶晨;朱茵茵 -专利权人：同济大学
申请日： 2016-06-02 - 公布日： 2016-10-12 - 主分类号： G06F17/30 文献下载
摘要：所述基于时空特性的交通事件视频存取方法包括：获取交通事件视频小文件；根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件；所述合并文件中还包括小文件索引表；将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件
一种基于时空特性交通事件视频存取方法系统

[发明专利]一种基于NVRAM的小文件读写加速方法和设备-CN201911266193.4有效
发明人：马常宏 -专利权人：苏州浪潮智能科技有限公司
申请日： 2019-12-11 - 公布日： 2022-11-01 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种基于NVRAM的小文件读写加速方法，包括在存储主机中执行以下步骤：响应于从应用主机接收到应用程序写申请，将写申请产生的若干小文件在内存中定长聚合成定长大文件，并将定长大文件写入写缓存加速区的第一NVRAM；第一NVRAM将定长大文件下刷到磁盘；响应于从应用主机接收到应用程序读申请，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM；将小文件所在的定长大文件预读到内存中拆分，并将拆分后的小文件发送到应用主机。本发明提出的基于NVRAM的小文件读写加速方法和设备通过对小文件写入的顺序整合和读写通过NVRAM分别分区进行加速，大幅提高了对于海量小文件读写场景的访问速度。
一种基于 nvram 文件读写加速方法设备

[发明专利]一种小文件管理方法、系统和计算机设备-CN201811653226.6有效
发明人：吴义谱;李文博;张炎泼 -专利权人：贵州白山云科技股份有限公司
申请日： 2018-12-29 - 公布日： 2023-02-03 - 主分类号： G06F16/11 文献下载
摘要：本发明提供了一种小文件管理方法、系统和计算机设备。涉及对象存储技术，解决了小文件数量巨大导致的索引资源消耗过高、查询困难的问题。该方法包括：生成小文件索引树，在所述索引树的中间节点存储小文件的键值Key，在所述索引树的叶子节点里存储小文件的位置信息；裁剪掉所述索引树中的单分支节点。本发明提供的技术方案适用于海量小文件数据管理，实现了高性能的数据查询。
一种文件管理方法系统计算机设备

[发明专利]千万级小文件数据的一种读写解决策略-CN201410718009.6在审
发明人：张砚波;吴丙涛 -专利权人：浪潮集团有限公司
申请日： 2014-12-03 - 公布日： 2015-03-04 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种千万级小文件数据的一种读写解决策略，设计在存储小文件时通过采用开辟大块的连续磁盘空间的方式来存储大量的小文件；首先将磁盘空间划分为多个块，大文件的连续磁盘空间就由这一系列块所组成，遇到的文件比较小时，每个小文件只能存放在单个块中，不能跨越2个块存放，每个文件数据都存放在连续的磁盘空间上。本发明主要是通过将逻辑上连续的小文件数据尽可能的存储在物理磁盘的连续空间之内，这样就提高用户对文件访问的并发性操作，从而提高了小文件的访问性能；采用Cache技术充当元数据服务器的角色，同时通过设计一种简化的小文件信息节点数据结构Node，大大提高Cache利用率和小文件读取性能。
千万文件数据一种读写解决策略

[发明专利]一种对象存储系统中数据的聚合方法及系统-CN202011043694.9在审
发明人：赵煜;胡永刚 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-09-28 - 公布日： 2021-01-15 - 主分类号： G06F16/16 文献下载
摘要：本发明提供一种对象存储系统中数据的聚合方法及系统，均能够：扫描对象存储系统存储池的热池中的小文件并加入小文件聚合队列；从小文件聚合队列中获取需要聚合的小文件；获取所述需要聚合的小文件的内容，加入大文件聚合缓存区形成一个聚合大文件；将所述聚合大文件的内容下刷到冷池，将所述聚合大文件的元数据下刷到热池。
一种对象存储系统数据聚合方法系统