“G06F16/182”专利分类搜索_专利查询_文献下载_出售_求购_买卖_交易

钻瓜专利网为您找到相关结果1370个，建议您升级VIP下载更多相关专利

[发明专利]一种基于分布式系统的数据质量提高方法及系统-CN201910969243.9在审
发明人：孙涛;刘秀源;郭爱章 -专利权人：齐鲁工业大学
申请日： 2019-10-12 - 公布日： 2020-01-31 - 主分类号： G06F16/182 文献下载
摘要：本公开提出了一种基于分布式系统的数据质量提高方法及系统，包括：获取各数据源的数据并进行加载至分布式文件系统；分布式文件系统对已加载的数据进行预处理，预处理过程主要包括填充不完整的字段和合并重复记录；对待清洗的数据进行数据清洗；在数据清洗结束后，通过已构建数据质量评估模型，进行数据质量评估。本公开经过数据清洗，数据格式不一致的问题、数据记录重复的问题、数据中字段缺少的问题都得到有效的处理，该数据清洗方法清洗了大部分错误数据，极大提高了数据质量。
数据清洗分布式文件系统加载字段清洗预处理质量评估模型分布式系统预处理过程错误数据数据格式数据记录质量评估重复记录不一致数据源构建填充合并重复

[发明专利]应用于分布式文件系统的任务调度方法和设备-CN201410535260.9有效
发明人：贾士博;岳银亮 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2014-10-11 - 公布日： 2020-01-31 - 主分类号： G06F16/182 文献下载
摘要：本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。
应用于分布式文件系统任务调度方法设备

[发明专利]分布式文件系统及其文件元信息管理方法-CN201510342104.5有效
发明人：段兵 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-06-18 - 公布日： 2020-01-31 - 主分类号： G06F16/182 文献下载
摘要：本申请供公开一种分布式文件系统及其文件元信息管理方法，其中所述方法包括：所述主控节点接收到所述客户端发送的创建文件元信息请求后，生成文件的一级索引标识信息，其中，一级索引标识信息在系统内部全局唯一；所述数据节点接收到所述客户端发送的创建文件元信息请求后，根据所述一级索引标识信息分配文件的二级索引标识信息，其中，二级索引标识信息在一级索引内部全局唯一；所述客户端根据所述一级索引标识信息和二级索引标识信息生成文件名；所述数据节点存储文件元信息，其包括：一级索引标识信息、二级索引标识信息以及文件名。通过本申请解决了文件元信息集中存储在主控节点而易导致的单点故障问题。
分布式文件系统及其文件信息管理方法

[发明专利]一种分布式元数据管理方法及系统-CN201611247844.1有效
发明人：郭晓凤 -专利权人：郭晓凤
申请日： 2016-12-29 - 公布日： 2020-01-31 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种分布式元数据管理方法及系统，涉及元数据管理技术领域。该方法及系统，通过使用元数据分布时的静态负载均衡和系统运行中的动态负载均衡两种策略，提高了元数据服务资源的利用率，保证了系统的负载均衡，提高了系统的可扩展性；另外，通过使用基于目录重定向表格的元数据延迟移动方案解决了重命名操作会引起的元数据大量移动问题，保证了系统效率的稳定。
一种分布式数据管理方法系统

[发明专利]数据管理方法、设备和系统-CN201610825463.0有效
发明人：刘佳楠;江露 -专利权人：北京百度网讯科技有限公司
申请日： 2016-09-14 - 公布日： 2020-01-21 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了数据管理方法、设备和系统，所述方法包括：主设备获取更新信息，以Log的方式写入NFS，以便在写入成功后，从设备通过tail日志的方式，根据更新信息更新本地内存，另外，写入成功，主设备根据更新信息更新本地内存。应用本发明所述方案，能够提高系统的稳定性和可扩展性等。
数据管理方法设备系统

[发明专利]一种基于弹性分布式数据集的Stage划分方法和终端-CN201610741110.2有效
发明人：彭磊;党李飞;崔鑫;梁殿鹏 -专利权人：华为技术有限公司
申请日： 2016-08-26 - 公布日： 2020-01-21 - 主分类号： G06F16/182 文献下载
摘要：本发明实施例提供一种基于弹性分布式数据集的Stage划分方法和终端，涉及大数据领域，能够缩短Spark作业的执行时间。其方法为：首先，终端创建应用程序的RDD的有向无环图DAG；接着终端对DAG中的RDD划分Stage，并在任一子RDD同时存在宽依赖和窄依赖时，将子RDD、与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD划分至不同的Stage；而后终端并行执行与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD对应的任务后，执行子RDD对应的任务。本发明实施例应用于内存计算中对基于RDD的Stage进行划分和执行。
一种基于弹性分布式数据 stage 划分方法终端

[发明专利]访问文件的方法和装置-CN201610053459.7有效
发明人：沈灿泉 -专利权人：华为技术有限公司
申请日： 2016-01-26 - 公布日： 2020-01-17 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种访问文件的方法和装置，该方法包括：确定文件系统处于网络分割状态，该文件系统运行在多个主机上，该网络分割状态指示该文件系统被划分为至少两个分区，该至少两个分区之间的网络是不通的；接收第一文件的访问请求；获取该访问请求对应的第一主机标识；确定该第一主机标识与该文件系统中为该第一文件预配置的第二主机标识一致；访问该第一文件。本发明实施例的访问文件的方法和装置，能够提高网络发生分割时访问集群文件系统的可靠性。
访问文件方法装置

[发明专利]分布式文件系统存储管理方法、装置、设备及存储介质-CN201910877103.9在审
发明人：杨朔;牛勇刚 -专利权人：济南浪潮数据技术有限公司
申请日： 2019-09-17 - 公布日： 2020-01-14 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种分布式文件系统存储管理方法，通过获取目标文件的访问热度信息，并根据访问热度信息对目标文件进行热度文件判别，当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区。该方法可以实时的检测文件热度特性，区分数据访问的冷热状态，并将用户经常访问的数据存储到高性能存储区，预设的高性能存储区相对于其他存储空间的请求响应速度更优，从而可以提升频繁接受文件请求的热度文件的响应速度，相对实现在有限的资源条件下提高系统性能的目的。本发明还提供了一种分布式文件系统存储管理装置、设备及可读存储介质，具有上述有益效果。
热度分布式文件系统热度信息预设存储管理装置可读存储介质存储管理存储空间获取目标检测文件冷热状态目标文件判定目标请求响应数据存储数据访问文件判别文件请求文件添加系统性能资源条件访问响应

[发明专利]一种均衡分布的文件存储方法及系统-CN201510682385.9有效
发明人：廖冬生 -专利权人： TCL集团股份有限公司
申请日： 2015-10-21 - 公布日： 2020-01-14 - 主分类号： G06F16/182 文献下载
摘要：本发明公开一种均衡分布的文件存储方法及系统。方法包括步骤：A、根据上传的目标文件的文件信息、以及上传信息组织成编码，然后以所述编码生成所述目标文件在服务器的唯一的存储名称；B、对所述存储名称进行加密生成加密值，截取所述加密值的一部分字符作为其所属存储目录的目录名称，根据所述目录名称将所述目标文件存储于相应所述存储目录下。通过本发明可将上传的文件均匀地分布在存储目录下，且不会错误地覆盖其他现有的文件。同时还能提供方便快速的文件访问。
一种均衡分布文件存储方法系统

[发明专利]基于高带宽存储系统的数据同步方法-CN201710337773.2有效
发明人：许荣福 -专利权人：成都优孚达信息技术有限公司
申请日： 2017-05-15 - 公布日： 2020-01-14 - 主分类号： G06F16/182 文献下载
摘要：本发明提供了一种基于高带宽存储系统的数据同步方法，该方法包括：将簇封装成定长数据段，执行纠删码算法生成多个编码对象，分散到不同节点上存储；当收到文件读取请求后，解析文件标识符查询相应文件的簇列表，然后查询出其所属的对象的标识符和编码对象组的标识符，一并存储到专门的结构；根据该结构中信息读取各簇的数据；查找到对象所存放的位置，然后通过簇标识符在该对象的簇索引内进行查找，找到该簇在对象内的偏移地址和长度，最后读取区间的数据；按照所述结构中指定的顺序拼装成原始文件。本发明提出了一种基于高带宽存储系统的数据同步方法，实现了高性能、低功耗的SSD与高带宽容灾分布式存储架构的有机结合。
基于带宽存储系统数据同步方法

[发明专利]副本平衡方法、装置、存储介质及电子设备-CN201910909624.8在审
发明人：樊美钦 -专利权人：新华三大数据技术有限公司
申请日： 2019-09-25 - 公布日： 2020-01-10 - 主分类号： G06F16/182 文献下载
摘要：本申请提出一种副本平衡方法、装置、存储介质及电子设备。通过针对每一备份数据，确定备份数据的副本是否全部存储于第一机架的节点上，若是，在至少一个第二机架的节点上存储备份数据的副本，以调整其副本分布，进而达到副本平衡的效果。当副本平衡后，在机架搬迁时，可以整体搬迁某一个机架，从而可以提升搬迁的效率。
副本备份数据平衡存储备份数据搬迁存储介质电子设备整体搬迁存储申请

[发明专利]分布式文件系统目录配额方法、系统、装置及存储介质-CN201910936880.6在审
发明人：李旭东 -专利权人：北京浪潮数据技术有限公司
申请日： 2019-09-29 - 公布日： 2020-01-10 - 主分类号： G06F16/182 文献下载
摘要：本申请公开了一种分布式文件系统目录配额方法、系统、装置及计算机可读存储介质，包括：接收业务处理指令；判断本地目录的配额余量是否满足处理与业务处理指令对应的业务的余量要求；若不满足，则发送配额申请信息至元数据服务器；若满足，则处理业务，判断距上一次上报本地目录的配额余量期间，本地目录的累计配额使用量是否满足预设上报条件；若满足，则上报本地目录当前的配额余量至元数据服务器；本申请在处理业务前主动判定本地目录的配额余量是否能够满足处理业务要求，若不满足，则向元数据服务器申请配额，确保不会出现业务处理后出现超额的情况，同时，仅在满足预设的上报条件时才上报，减少广播次数，提高广播效率。
元数据服务器处理业务上报申请计算机可读存储介质分布式文件系统业务处理指令预设上报条件配额使用量处理指令广播效率接收业务配额申请上报条件业务处理余量要求预设判定发送广播

[发明专利]单证生成方法、系统、计算机设备和计算机可读存储介质-CN201910841583.3在审
发明人：李依洁;刘元勋;吴波 -专利权人：平安普惠企业管理有限公司
申请日： 2019-09-06 - 公布日： 2020-01-07 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种单证生成方法，应用于分布式系统，该分布式系统包括管理装置、存储装置和处理装置，管理装置用于维护单证模板，并在维护完成后将单证模板上传至存储装置，该方法包括：管理装置响应于用户发送单证生成请求，获取单证生成请求中携带的单证编号和用户的用户标识；管理装置从存储装置中下载与单证编号关联的单证模板；管理装置将用户标识和单证编号发送至处理装置；处理装置基于单证编号确定参数名称，并基于用户标识确定参数名称对应的参数值；处理装置将参数名称和参数值返回管理装置；管理装置确定参数名称在单证模板中的参数填写位置，并将参数值填充在单证模板的参数填写位置处，以生成单证。
管理装置处理装置存储装置用户标识分布式系统参数填写生成请求编号发送编号确定模板上传用户发送位置处填充下载关联维护携带返回响应应用

[发明专利]文件处理方法、装置及分布式文件系统-CN201610791705.9有效
发明人：郭军;徐飞明;杨伟贤 -专利权人：北京小米移动软件有限公司
申请日： 2016-08-31 - 公布日： 2020-01-07 - 主分类号： G06F16/182 文献下载
摘要：本公开是关于一种文件处理方法、装置及分布式文件系统，属于互联网技术领域。所述方法包括：向数据节点发送数据块创建请求，并返回所述数据块的元数据信息；当接收到所述元数据信息时，分配数据块标识；向所述主节点发送所述数据块标识和所述元数据信息，所述主节点用于建立所述数据块标识和所述元数据信息之间的映射关系。本公开通过在主节点中建立映射关系，在客户端读取或者写入文件时根据该映射关系能够获取数据块的元数据信息，以确定数据块的位置，进而根据数据块的位置进行文件读取或者写入，无需存储文件的元数据信息，可存储的文件量不会受限于主节点的存储容量，提高了扩展性。
文件处理方法装置分布式文件系统

[发明专利]一种基于区块链技术的个人档案存储技术-CN201810676566.4在审
发明人：吴杰庄 -专利权人：杰峯信息科技(中山)有限公司
申请日： 2018-06-27 - 公布日： 2020-01-03 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种基于区块链技术的个人档案存储技术，包括区块链个人档案建立模块、区块链个人档案共识机制和区块链个人档案数据存储模块；本发明同时实现个人档案的真实性、可查询、不可篡改、不可伪造；且能够将操作数据、原数据与电子档案本身的信息数据动态地融合成一个整体。有效地解决了目前电子档案管理中存在的操作数据、原数据与电子档案本身的信息数据相分离的问题。维护了电子档案的完整性。本发明平台是基于区块链技术，具有很好的保护用户信息的安全性。还能够提供安全的存储和传输数据环境。
区块电子档案个人档案操作数据信息数据原数据个人档案数据传输数据存储技术存储模块建立模块用户信息相分离有效地真实性篡改存储伪造查询融合安全维护管理