“小文件”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果227294个，建议您升级VIP下载更多相关专利

[发明专利]一种HDFS海量小文件处理方法及系统-CN201710686381.7在审
发明人：赵闪闪 -专利权人：郑州云海信息技术有限公司
申请日： 2017-08-11 - 公布日： 2018-01-16 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种HDFS海量小文件处理方法及系统，均先判定所接收到的当前请求上传的文件是否为小文件，若是，则分别对当前请求上传的文件进行缓存，并计算上述当前已缓存的各请求上传的文件的大小之和、统计上述当前已缓存的各请求上传的文件的总数量，且通过比较上述当前计算出的大小之和与预设的第二阈值的大小关系、及比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系，在上述任意一比较关系成立时，合并当前已缓存的各请求上传的文件并创建当前已缓存的各请求上传的文件文件索引列表；之后均将当前合并后的文件及其对应文件索引列表上传至HDFS集群，然后清空上述已缓存的各请求上传的文件。本发明能提高HDFS对海量小文件的访问效率。
一种 hdfs 海量文件处理方法系统

[发明专利]一种集中器升级方法和系统-CN201711439792.2在审
发明人：吴胜;吕燕顺 -专利权人：深圳市科陆电子科技股份有限公司
申请日： 2017-12-27 - 公布日： 2018-05-04 - 主分类号： G06F8/658 文献下载
摘要：本发明公开了一种集中器升级方法和系统，方法包括将升级文件分成若干分解文件，基于分解文件与旧程序的差异数据生成传输帧；存储所述传输帧；当运行旧程序时，引导其使用存储的传输帧的代码。系统用于执行对应方法。本发明通过将升级文件分解成小文件，将小文件与旧程序的差异生成传输帧以降低传输数据的量，通过引导集中器使用存储的传输帧以实现旧程序的更新。
一种集中器升级方法系统

[发明专利]数据处理方法和装置-CN201210562653.X有效
发明人：曹宇 -专利权人：华为技术有限公司
申请日： 2012-12-21 - 公布日： 2013-04-24 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种数据处理方法和装置，通过将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈值；将待存储文件的第一个数据单元存储在高性能存储介质中。对于文件大小不超过数据单元阈值的小文件，则可以整个存储在高性能存储介质中，从而可以加速对小文件的访问速度，提高文件的访问效率。
数据处理方法装置

[发明专利]基于高性能网络架构的数据计算方法-CN201710356926.8在审
发明人：赖真霖;文君 -专利权人：成都四象联创科技有限公司
申请日： 2017-05-19 - 公布日： 2017-08-29 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种基于高性能网络架构的数据计算方法，该方法包括利用MapReduce对小文本文件进行分类；基于上述分类将多个小文件合并成大文件。本发明提出了一种基于高性能网络架构的数据计算方法，基于改进的分布式处理架构将来自不同异构源的多种小文件进行统一规范组织，便于高效存储、分析与检索。
基于性能网络架构数据计算方法

[发明专利]一种分布式文件系统小文件写缓存优化的方法-CN201710029014.X在审
发明人：于鲁宪 -专利权人：郑州云海信息技术有限公司
申请日： 2017-01-16 - 公布日： 2017-06-06 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式文件系统小文件写缓存优化的方法，涉及计算机存储领域，具体方法如下S1、挂载文件系统，指定目录打开缓存功能；S2、将所写入的数据保存到客户端缓存；S3、缓存管理模块按照inode进行脏数据区分管理本发明通过目录布局，实现缓存功能的开关控制，以及子目录对缓存功能开关控制的继承；刷新inode操作由定时器触发，将同步刷新变成异步，并且可以实现批量刷新inode，刷新的数据内容与inode强相关，可以有效提高小文件写入效率；可以同时面向大文件与小文件的写入操作。
一种分布式文件系统文件缓存优化方法

[发明专利]一种基于区块链分布式加密的文件存储方法及系统-CN202211437021.0有效
发明人：石宁;钟亮亮;姜冲 -专利权人：南京可信区块链与算法经济研究院有限公司
申请日： 2022-11-17 - 公布日： 2023-04-07 - 主分类号： H04L9/40 文献下载
摘要：本申请提供一种基于区块链分布式加密的文件存储方法及系统，文件存储方法包括：生成待存储的大文件的公钥和私钥；基于预设门限加密算法，构建n个私钥分片，n为节点的数量，其中，私钥可通过至少m个私钥分片进行还原，m为预设门限阈值，m＜n；将任一私钥分片随机发送至任一节点，并存储至节点对应的本地数据库模块；利用公钥对大文件进行加密得到加密大文件；将加密大文件切分为至少三个切片小文件；将每个切片小文件随机存储至节点对应的本地数据库模块如此，通过将私钥分片和切片小文件随机发送至节点，完成对大文件的分布式加密；如果想要再访问大文件需要依次验证私钥、公钥和哈希值，极大地提高了大文件存储的安全性。
一种基于区块分布式加密文件存储方法系统

[发明专利]一种文件聚合方法、装置、设备及存储介质-CN202310419059.3在审
发明人：楚光庆 -专利权人：济南浪潮数据技术有限公司
申请日： 2023-04-14 - 公布日： 2023-07-18 - 主分类号： G06F3/06 文献下载
摘要：本申请公开了一种文件聚合方法、装置、设备及存储介质，涉及计算机技术领域，包括：将待写入小文件存放至第一缓存池对应的第一待写入队列，并判断所述第一待写入队列的队列长度是否达到预设阈值；若所述第一待写入队列的所述队列长度达到所述预设阈值，则执行预设文件聚合操作，以得到聚合后文件；将所述聚合后文件移动至第二待写入队列，以便将所述聚合后文件写入第二缓存池。本申请通过判断所述第一待写入队列的队列长度是否达到预设阈值来判断小文件的写入压力强度，当写入压力大时聚将小文件聚合后写入第二缓存池，降低了系统内数据通道带宽占用以及第一缓存池对应存储盘的磨损率，提高了读写性能
一种文件聚合方法装置设备存储介质

[发明专利]用于处理HDFS中的文件存储的方法和系统-CN201410302839.0在审
发明人：庄威;刘亮;曲俊媚;尹文君;戈弋 -专利权人：国际商业机器公司
申请日： 2014-06-27 - 公布日： 2015-12-30 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种用于处理文件存储的方法和系统。该方法包括：接收一个文件存储请求；确定所请求存储的文件的文件大小；响应于确定所述文件为小文件，将所述文件存储请求发送给HBase，以便将所述文件存储到HBase中；响应于确定所述文件为大文件，将所述文件存储请求发送给HDFS，以便将所述文件存储到HDFS中，并将与所述文件相关联的信息保存在一个记录中。通过本发明的方法和系统，可以有效地解决HDFS在处理小文件时所遇到的问题。
用于处理 hdfs 中的文件存储方法系统

[发明专利]一种对于海量小文件在分布式存储系统中上载的方法-CN201410603326.3有效
发明人：杨浩;马照云;王利虎;苗艳超;刘新春;邵宗有 -专利权人：曙光信息产业股份有限公司
申请日： 2014-10-30 - 公布日： 2019-05-21 - 主分类号： G06F16/17 文献下载
摘要：本发明涉及一种对于海量小文件在分布式存储系统中上载的方法，该方法包括：客户端根据操作系统的标准POSIX语义，查找带有创建请求的目标文件；元数据服务器对文件进行预创建，建立文件池；利用元数据服务器聚合管理文件元数据；经内核模块对文件排序后批量同步上载。解决了小文件创建延迟大、数目少的问题，大大提高了上载速率，且减少了硬件资源浪费，节约了成本。
一种对于海量文件分布式存储系统上载方法

[发明专利]提升NAS存储性能的方法及装置、电子设备和存储介质-CN202210489131.5有效
发明人：请求不公布姓名 -专利权人：安超云软件有限公司
申请日： 2022-05-06 - 公布日： 2023-07-28 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种提升NAS存储性能的方法及装置、电子设备和存储介质，该方法包括以下步骤：通过用户态文件系统截获客户端发送到NAS存储的文件；判断所述文件是否为大文件；若是，将所述文件发送至NAS存储；若否，将所述文件合并至所述用户态文件系统小文件合并模块中的压缩包，在所述压缩包大小超过发送阈值时，将所述压缩包发送至NAS存储。该方法能够通过用户态文件系统为客户端提供一个本地目录，使得用户使用上无感知。由于通过小文件合并模块将小文件进行压缩包合并，有效的提升了单次IO的传输大小，提升了NAS存储的性能。
提升 nas 存储性能方法装置电子设备介质

[发明专利]OGG到HDFS的同步文件处理方法、装置和计算机设备-CN202111044619.9在审
发明人：张志亮;赵永国;杨荣霞;曹熙;曾祥清;黎名航 -专利权人：南方电网大数据服务有限公司
申请日： 2021-09-07 - 公布日： 2021-12-24 - 主分类号： G06F16/27 文献下载
摘要：本申请涉及一种OGG到HDFS的同步文件处理方法、装置、计算机设备和存储介质。所述方法包括：基于OGG软件对通过OGG软件到HDFS的同步文件的滚动切换时间和文件大小进行限制；基于配置完成的OGG软件，以业务系统产生的增量数据作为同步文件，将所述同步文件准实时同步至HDFS；基于HDFS对通过OGG软件获取的同步文件进行遍历，筛选出所述同步文件中的小文件，并对所述小文件进行合并处理。
ogg hdfs 同步文件处理方法装置计算机设备

[发明专利]一种分布式数据存取方法、装置和系统-CN201310164831.8有效
发明人：陈昌 -专利权人：深圳中兴网信科技有限公司
申请日： 2013-05-07 - 公布日： 2018-02-13 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式数据存取方法、装置和系统，其中，分布式数据存储方法包括小文件处理模块接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。本发明能够在大量存储小文件时，节省占用主节点的内存，提高HDFS存取数据的效率。
一种分布式数据存取方法装置系统

[发明专利]用于Iceberg中的大量小文件处理方法及装置-CN202311126856.9在审
发明人：聂林飞;任尚涛;简勇华;吴小前 -专利权人：北京滴普科技有限公司
申请日： 2023-09-04 - 公布日： 2023-10-13 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了用于Iceberg中的大量小文件处理方法及装置，该方法包括：通过扫描Iceberg中目录下的数据库和表信息确定出优化参数，所述优化参数包括已建立优化任务类型、小文件数量、已删除文件数量、表快照数量根据所述当前优化任务的类型确定其优先级；基于所述已建立优化任务的优先级和当前优化任务的优先级确定所有优化任务的执行队列，并将所述执行队列中的所有优化任务按序执行，实现了在降低运维成本的同时及时有效地优化Iceberg中的大量小文件
用于 iceberg 中的大量文件处理方法装置

[发明专利]分布式文件系统中聚合对象的索引方法、系统及相关装置-CN202110741785.8在审
发明人：王帅阳;李文鹏;李旭东 -专利权人：济南浪潮数据技术有限公司
申请日： 2021-06-30 - 公布日： 2021-11-09 - 主分类号： G06F16/13 文献下载
摘要：本申请提供一种分布式文件系统中聚合对象的索引方法，包括：接收小文件写入请求并将对应的小文件写入obj缓存；在小文件数据写入量满足聚合缓存的预设容量时，组建数据缓存队列；数据缓存队列包括数据队列和obj缓存的索引队列；将数据队列中的数据写入普通池，并将索引队列中索引数据写入高速池；根据索引队列中的索引数据更新文件聚合元数据。同时针对索引文件对象，按照聚合大件的生命周期进行管理，避免产生垃圾对象的残留。本申请还提供一种分布式文件系统中聚合对象的索引系统、计算机可读存储介质和电子设备，具有上述有益效果。
分布式文件系统聚合对象索引方法系统相关装置

[发明专利]一种海量教育文件关联存储方法-CN201810496005.6在审
发明人：曹晟;毕丙伟;邹杰成;王靖;梅亚双;陈泽东 -专利权人：电子科技大学
申请日： 2018-05-22 - 公布日： 2018-10-16 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量教育文件关联存储方法，包括四个部分，分别是海量教育文件的归并、海量教育文件关联方法中局部索引确定、海量教育文件的缓存与预取和海量教育文件碎片的整理。本发明包括针对数量大、关联多、类型广的教育资源小文件的存储步骤，可有效提升存储空间的利用率，方便易用且成本更低，对海量教育文件的关联存储领域具有充分性、必要性和高效性，可广泛应用于海量小文件存储领域。
文件关联教育存储缓存海量小文件存储步骤存储空间存储领域关联存储教育资源局部索引文件碎片充分性高效性小文件预取归并关联应用