[发明专利]一种分布式文件系统的OSD数据分发方法及装置有效

专利信息
申请号: 201710881911.3 申请日: 2017-09-26
公开(公告)号: CN107506491B 公开(公告)日: 2021-03-09
发明(设计)人: 李彦博 申请(专利权)人: 苏州浪潮智能科技有限公司
主分类号: G06F16/182 分类号: G06F16/182;H04L29/06;H04L29/08
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 罗满
地址: 215100 江苏省苏州市吴*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了一种分布式文件系统的OSD数据分发方法、装置及计算机可读存储介质,该方法包括:Socket通信层读取第一OSD数据后,将第一OSD数据发送到第一OSD数据对应的第一虚拟层队列,并在第一OSD数据发送成功后读取第二OSD数据;其中,第一虚拟层队列为第一OSD数据对应的第一OSD所在的第一虚拟层线程对应的虚拟层队列;第一虚拟层线程从第一虚拟层队列中读取第一OSD数据,并将第一OSD数据发送到第一OSD;本发明通过在虚拟层采用并发处理的方式,加快了Socket通信层的处理速度,增大了虚拟层的并发处理能力,消除了消息处理瓶颈,进而提高了分布式系统的处理能力。
搜索关键词: 一种 分布式 文件系统 osd 数据 分发 方法 装置
【主权项】:
一种分布式文件系统的OSD数据分发方法,其特征在于,包括:Socket通信层读取第一OSD数据后,将所述第一OSD数据发送到所述第一OSD数据对应的第一虚拟层队列,并在所述第一OSD数据发送成功后读取第二OSD数据;其中,所述第一虚拟层队列为所述第一OSD数据对应的第一OSD所在的第一虚拟层线程对应的虚拟层队列;所述第一虚拟层线程从所述第一虚拟层队列中读取所述第一OSD数据,并将所述第一OSD数据发送到所述第一OSD。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710881911.3/,转载请声明来源钻瓜专利网。

同类专利
  • 一种基于分布式存储的档案管理系统-202310738067.4
  • 杨吉伟;王映萍;廖建峰 - 东莞市铁石文档科技有限公司
  • 2023-06-21 - 2023-10-27 - G06F16/182
  • 本发明公开了一种基于分布式存储的档案管理系统,涉及档案管理技术领域,包括主控中心,所述主控中心通信连接有档案存储模块、异常监测模块、档案检测模块、加权模块、授权模块;所述档案存储模块用于对档案进行分布式存储,所述异常监测模块用于对档案存储的过程进行监测,并获得异常存储档案,同时对异常存储档案进行再次存储,所述档案检测模块用于对档案的完整程度进行检测,并根据完整程度将档案区分为完整档案和缺失档案,同时对缺失档案的缺失节点进行检测,所述加权模块用于对完整档案和子档案进行加权,所述授权模块用于对查询人员进行授权和对完整档案进行查询;通过本发明的技术方案,可以更好地保护档案的完整性和保密性。
  • 一种多模态测图数据分布式存储方法及系统-202310913819.6
  • 王家樑;季铮;马文卓;朱禹涵;陈昊天;彭昱宁 - 武汉大学
  • 2023-07-24 - 2023-10-27 - G06F16/182
  • 本发明提供一种多模态测图数据分布式存储方法及系统,属于分布式存储技术领域,包括:采用HDFS存储多模态测图数据;基于HDFS对所述多模态测图数据进行组织管理,采用多级文件目录存储所述多模态测图数据;对HDFS中的多个存储节点进行异常监测,确定所述多个存储节点的双机热备运行模式。本发明使用HDFS作为测图数据分布式存储文件系统,针对二三维测图数据进行组织管理,并采用MapReduce框架实现分布式并行计算,大大提高了多模态、非结构化的空间数据管理、存储和处理效率,还包括基于Prometheus和Grafana框架的异常监测系统,实现对各节点的运行状态监测,并结合双机热备设计保证系统可靠性运行。
  • 数据存储性能分析方法和装置、宿主机确定方法和装置-201810878517.9
  • 郭泽晖 - 阿里巴巴集团控股有限公司
  • 2018-08-03 - 2023-10-27 - G06F16/182
  • 本申请实施例提供了一种数据存储性能分析方法和装置、宿主机确定方法和装置,其中,数据存储性能分析方法包括:获取分布式系统的用户的数据存储架构,该用户的数据存储架构包括该用户的数据存储节点和该用户的数据存储节点所在的宿主机,根据该用户的多副本数据存储策略,在该用户的数据存储架构中逐批确定能够存储饱和的数据存储节点和宿主机并删除,直至删除后剩余的宿主机的数量和数据存储节点的数量满足终止条件,根据删除后剩余的宿主机的数量和数据存储节点的数量,确定该用户的数据存储架构是否能够完全存储饱和。
  • 一种信息处理方法、装置、电子设备及存储介质-201911348408.7
  • 冯浩 - 北京奇艺世纪科技有限公司
  • 2019-12-24 - 2023-10-27 - G06F16/182
  • 本发明实施例提供了一种信息处理方法、装置、电子设备及存储介质,其中,信息处理方法可以包括:获取多个节点分别对应的节点信息,其中,节点是分布式应用程序协调服务中的数据节点Znode;针对各个节点,对节点对应的节点信息标注标签;根据标注标签后的节点信息,对多个节点进行分析,得到分析结果,以使根据分析结果进行故障分析。通过本发明实施例提供的本发明实施例提供的信息处理方法、装置、电子设备及存储介质,能够实现对数据节点Znode的分析,为根据对节点的分析结果进行故障分析提供基础。
  • 分布式病历文档生成方法、系统、计算机设备及存储介质-202310868279.4
  • 吴伟 - 广州东瑞科技有限公司
  • 2023-07-14 - 2023-10-24 - G06F16/182
  • 本发明公开了一种分布式病历文档生成方法、系统、计算机设备及存储介质,其中方法包括以下步骤:接收客户端发送的需生成的病历文档记录;将所述需生成的病历文档记录按时间顺序依次排列在待生成队列中;接收所述客户端的生成请求指令;根据客户端的生成请求指令按顺序将所述待生成队列中其中一个所述需生成的病历文档记录发送至对应的客户端;接收客户端根据所述需生成的病历文档记录生成的病历文档;将所述病历文档存储到病历文档库。本发明有效解决了病历文档生成时间长,未能有效利用医院更优的算力资源的问题。
  • 一种供数方法、装置、设备及存储介质-202310919494.2
  • 鲍远淼;冯飞龙 - 上海爱数信息技术股份有限公司
  • 2023-07-25 - 2023-10-24 - G06F16/182
  • 本发明公开了一种供数方法、装置、设备及存储介质。该方法包括:获取供数申请,其中,所述供数申请包括:环境标识信息和查询信息;若初始镜像集合中存在与所述查询信息对应的目标镜像,则根据所述目标镜像创建目标副本;根据所述环境标识信息将所述目标副本挂载到所述环境标识信息对应的目标环境上,通过本发明的技术方案,能够提前准备好开发测试所需数据,提升开发测试场景供数的效率,降低对生产系统的影响,无需人工干预,减少误操作风险,降低人工投入的成本。
  • 详细话单访问方法及装置-202310932423.6
  • 马玉鸿;王树栋;李奕霖 - 中国移动通信集团青海有限公司;中国移动通信集团有限公司
  • 2023-07-26 - 2023-10-24 - G06F16/182
  • 本申请涉及无线通信技术领域,提供一种详细话单访问方法及装置。方法包括:根据用户写入星际文件系统集群中的目标详细话单的话单时间和用户标识,确定星际文件系统集群中的目标链表的索引值;将索引值和目标详细话单的内容标识符写入目标链表;根据用户向星际文件系统集群发送的数据访问请求,获取与内容标识符对应的所述目标详细话单,数据访问请求中携带有话单时间和用户标识。本申请提供的详细话单访问方法及装置可以在用户与IPFS集群之间建立了一个新的缓存表,存储缓存表的索引值用户写入IPFS集群的目标详细话单的内容标识符,本申请依托IPFS,可以实现交互式访问,为后期应用的高速访问展现提供有利支持。
  • 一种存储平台服务方法、装置、设备及存储介质-202311174597.7
  • 王帅阳;肖国栋;李旭东;张在贵 - 苏州浪潮智能科技有限公司
  • 2023-09-12 - 2023-10-20 - G06F16/182
  • 本申请实施例涉及网络存储技术领域,具体涉及一种存储平台服务方法、装置、设备及存储介质,旨在灵活分配存储资源。所述方法包括:存储平台接收用户发送的业务请求;所述存储平台根据所述业务请求,确定所述业务请求对应的租户,所述存储平台中预先配置有多个租户,所述多个租户在所述存储平台部署时进行全局化配置,以对所述多个租户对应的数据进行软件数据隔离以及物理数据隔离;在所述用户为所述租户对应的用户的情况下,所述存储平台根据所述租户对应的全局化配置信息,将所述业务请求发送至对应的文件系统中;所述文件系统将所述业务请求对应的资源返回至所述用户的用户终端。
  • 一种人脸图片管理、同步的安全管理系统及方法-201911381589.3
  • 何海涛;关伟豪 - 中山大学
  • 2019-12-27 - 2023-10-17 - G06F16/182
  • 本发明提供的一种人脸图片管理、同步的安全管理系统,包括分布式人脸基准库平台、数据采集机和第三方应用平台;数据采集机进行人脸图片采集,在分布式人脸基准库平台中进行存储;分布式人脸基准库平台对人脸图片进行特征提取,生成特征文件;将特征文件推送至第三方应用平台;第三方应用平台利用特征文件完成人脸识别过程。本发明还提供一种安全管理方法,在分布式人脸基准库平台上将人脸图片进行特征的提取,生成特征文件,实现对人脸图片库的统一管理;第三方应用平台在需要调用人脸图片库时,只能根据特征文件完成人脸识别,避免了将人脸图片直接存储于识别前端所可能造成的隐私泄露问题,有效提高了人脸识别过程的安全性。
  • 一种分布式数据计算系统及方法-201911389235.3
  • 王金池;厉佐瑞 - 嘉联支付有限公司
  • 2019-12-30 - 2023-10-17 - G06F16/182
  • 本发明提供了一种分布式数据计算系统和方法,所述系统包括一个中心调度装置和多个分布式计算单元,所述中心调度装置包括分析器和分配器,所述分析器用于根据文件块的大小和文件块中的数据行数计算待处理的多个文件块的计算量权重因子,并对计算量权重因子小于设定的第一数值的文件块进行合并处理和对计算量权重因子大于设定的第二数值的文件块进行拆分处理,形成新的文件块,直到所有的文件块的计算量权重因子的范围都在所述第一数值和所述第二数值之间,所述分配器,用于对合并和切分形成的文件块进行跟踪定位,并将每个文件块分配给所述分布式计算单元进行计算。采用上述分布式数据计算系统,可提高分布式计算的速度。
  • 面向Hive的多模式数据处理方法、装置及电子设备-202010256544.X
  • 李宗祥 - 咪咕文化科技有限公司;中国移动通信集团有限公司
  • 2020-04-02 - 2023-10-17 - G06F16/182
  • 本发明实施例公开了一种面向Hive的多模式数据处理方法、装置及电子设备,方法包括:将Hive表中的数据按照每列对应存储一个字段的数据的方式存储;将每列的数据划分为属于不同分区的分区数据;将属于不同表模式的分区数据分别存储至Hadoop的不同Block中;表模式用于表征Hive表的表结构属性,且每当Hive表的表结构发生变化时产生新的表模式。本发明可以自由应对数据仓库中数据结构的变更,通过配置不同的表模式使系统具有不同结构的数据,避免表结构发生变化时导致的数据迁移,降低了系统维护开销,此外,由于可以通过配置不同的表模式使系统具有不同结构的数据,因此使得表结构变更更具灵活性。
  • 一种分布式日志采集处理方法、系统-202310639214.2
  • 韩亚彪 - 天翼云科技有限公司
  • 2023-06-01 - 2023-10-13 - G06F16/182
  • 本公开涉及网络日志处理技术领域,涉及一种分布式日志采集处理方法、系统。本公开实施例的系统包括若干CNP控制器,将一个CNP控制器设为主节点,将剩余CNP控制器设为子节点。主节点包括前端指令获取模块、指令编辑模块、主采集模块、主分析处理模块、日志打包模块。子节点包括子采集模块、子分析处理模块。主节点与子节点根据前端发送的分析任务指令进行日志文件、配置文件采集、分析处理,得到分析结果后由主节点反馈给前端。本公开实施例的方法基于上述系统实现。本公开实施例可根据前端需求进行日志采集、分析处理,且通过主节点完成分布式架构内多个节点的分析结果反馈,日志处理效率高。
  • 一种基于能源管理平台的数据传输系统及方法-202310577689.3
  • 李启龙;马越;黄晶晶;褚治广;范颖晨;冮明颖 - 启升(辽宁)工业集团有限公司
  • 2023-05-22 - 2023-10-10 - G06F16/182
  • 本发明公开了一种基于能源管理平台的数据传输系统,包括数据采集模块、数据预处理模块、数据压缩模块、数据传输模块、数据接收模块及数据提交模块。本发明还提供了一种基于能源管理平台额数据传输方法,包括以下步骤:S1、通过Flume采集框架与Kafka消息队列相结合对能源数据进行实时能源的采集;S2、数据预处理模块将数据采集模块中所采集到的大量数据进行预处理;S3、数据压缩模块将数据进行压缩,提高数据传输效率与频带利用率,节省存储空间,使用Huffman编码对数据进行无损压缩,利用数据的统计冗余进行压缩。本发明采用上述的一种基于能源管理平台的数据传输系统及方法,能够快速对数据进行预处理,对数据的信息进行快速的分类与压缩。
  • 文件管理方法、设备及计算机可读存储介质-202310793576.7
  • 李显龙 - 招商银行股份有限公司
  • 2023-06-29 - 2023-10-03 - G06F16/182
  • 本发明公开了一种文件管理方法、设备及计算机可读存储介质,属于数据管理技术领域。该方法包括:档案前端服务节点接收总行节点发送的档案信息,并将所述档案信息发送至本地文件存储服务节点,所述档案信息包括文件描述信息;接收所述本地文件存储服务节点,基于所述档案信息反馈的目标文件,其中,所述本地文件存储服务节点在接收到所述档案信息后,基于所述档案信息确定所述目标文件对应的分行节点,并基于所述档案信息对应的文件适配方式,从所述分行节点读取所述目标文件,并反馈至所述档案前端服务节点;输出所述目标文件。本发明在通过总部节点以及文件适配器,旨在提升文件管理效率。
  • 基于分布式文件系统的路径解析方法、装置及存储介质-202311119099.2
  • 陈友旭;沈标标;邹懋;陈飞;王鲲 - 北京趋动智能科技有限公司
  • 2023-08-31 - 2023-10-03 - G06F16/182
  • 本公开涉及计算机分布式存储技术领域,提供一种基于分布式文件系统的路径解析方法、装置及存储介质,应用于元数据服务器的路径解析方法包括:响应于客户端发送的第一目录的查询请求,获取第一目录对应的元数据信息和关联访问信息,其中,关联访问信息包括第一目录对应的子目录以及每个子目录的访问热度值,访问热度值与子目录的历史被解析次数正相关;根据每个子目录的访问热度值,从第一目录对应的子目录中确定出第二目录;获取第二目录对应的元数据信息,并将第一目录对应的元数据信息和第二目录对应的元数据信息发送给客户端以进行路径解析,减少客户端和元数据服务器之间的交互次数,缩短解析路径的耗时,提高解析路径效率。
  • 数据存储方法、装置、电子设备、存储介质及程序产品-202310703024.2
  • 姚常伟;关鑫;关振宇;朱家强;郑为锋 - 拉卡拉支付股份有限公司
  • 2023-06-14 - 2023-09-29 - G06F16/182
  • 本公开实施例公开了一种数据存储方法、装置、电子设备、存储介质及程序产品,所述方法包括:响应于接收到数据存储指令,获取待存储数据,其中,所述待存储数据至少包括键值、与所述键值对应的值;当确定所述待存储数据或者所述待存储数据中的部分数据的键值具有公共部分时,对于键值的公共部分和其他部分分别存储,并记录键值的不同存储部分之间的关联关系;响应于接收到数据读取指令,根据所述数据读取指令读取相应的数据。该技术方案在保障数据有效存储的前提下,能够大量节省存储空间,提高数据存储效率。
  • 针对大数据分析的多hadoop分布式文件系统-201710828222.6
  • 陈磊;杨云峰 - 丙申南京网络技术有限公司
  • 2017-09-14 - 2023-09-26 - G06F16/182
  • 本发明公开了针对大数据分析的多hadoop分布式文件系统,涉及信息技术行业数据库技术领域,在不改变用户环境下拥有的数个分散的原始HDFS文件存储系统的前提下,创立聚合节点HDFS文件存储系统,并且作为一个开放应用程序编程接口API供用户使用,在避免大量数据移动和不改变Hadoop组件源代码的前提下,保证了计算任务和数据的本地化,大幅提高系统性能,提供了按不同的逻辑视图重新聚合HDFS并保证计算任务性能的灵活性。
  • 面向多租户的分布式文件系统安全访问控制方法及系统-201911303027.7
  • 张为华;鲁云萍;蒋金虎 - 复旦大学
  • 2019-12-17 - 2023-09-26 - G06F16/182
  • 本发明涉及一种面向多租户的分布式文件系统安全访问控制方法,包括以下步骤:1)租户命名空间映射:对租户在分布式文件系统中有权限访问的资源进行约束,并为多租户分配互相隔离的命名空间,使得每个租户只能访问指定资源的空间地址;2)用户唯一身份凭证映射:对租户下的每个用户分配在整个分布式文件系统中唯一的身份标识,防止出现用户身份凭证冲突;3)用户权限映射:将租户下的每个用户所拥有的权限映射到分布式文件系统中以确保访问正确。与现有技术相比,本发明实现了分布式文件系统安全地为云提供存储服务时完善的租户访问控制,具有同时兼具隔离性和共享性、安全性高等优点。
  • 非易失性数据的访问方法、系统、电子设备和介质-202010427533.3
  • 武永卫;陈康;姜进磊;马腾 - 清华大学
  • 2020-05-20 - 2023-09-26 - G06F16/182
  • 本申请涉及一种非易失性数据的访问方法和非易失性数据存储系统。该非易失性数据的访问方法,应用于第一终端,包括:从所述第一终端的缓存获取数据;对于未能从所述缓存获取的数据,通过远程直接内存读从第二终端的非易失内存获取;执行修改操作并刷新操作日志;基于刷新的操作日志生成并缓存内存日志;以及,将所述缓存的内存日志通过远程直接内存写刷新到所述第二终端。这样,实现了更高吞吐量、灵活性、细粒度和可变大小的字节寻址访问。
  • 一种分布式文件系统的实现方法-202310752241.0
  • 许忠文;邓敏;袁瑞 - 成都谐盈科技有限公司
  • 2023-06-26 - 2023-09-22 - G06F16/182
  • 本发明属于分布式文件系统技术领域,涉及一种分布式文件系统的实现方法,包括配置分布式文件系统的文件接口、文件系统接口以及文件管理接口;所述文件接口用于提供对分布式文件系统内文件的读写能力;所述文件系统接口定义远程访问物理文件系统的操作,用户能够通过文件管理器访问分布式文件系统;所述文件管理接口在继承文件系统接口的同时还具备挂载和卸载的操作;基于函数配置文件接口、文件系统接口以及文件管理接口的各类操作或属性。基于本发明实现了文件接口、文件系统接口和文件管理接口的功能,有利于读\写、创建、打开、复制、查询文件以及挂载和卸载;并基于文件接口、文件系统接口以及文件管理接口支撑了分布式文件系统的实现。
  • 数据处理方法、装置、系统、计算设备以及存储介质-201810149142.2
  • 任光辉;崔精兵;张友旭 - 腾讯科技(深圳)有限公司
  • 2018-02-13 - 2023-09-22 - G06F16/182
  • 本申请提供了一种数据处理方法,所述方法包括:接收第一客户端发送的任务处理请求,所述任务处理请求携带多个待处理文件,所述多个待处理文件包括:多个样本文件以及用于处理所述多个样本文件的可执行程序文件;将所述多个样本文件划分为多个文件集合,每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件;将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点,以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果;及从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。
  • 地址纠错方法及装置-202210299304.7
  • 罗奇帅;王洪斌;吴海英;权佳成 - 马上消费金融股份有限公司
  • 2022-03-25 - 2023-09-19 - G06F16/182
  • 本申请公开了一种地址纠错方法及装置。所述方法包括:获取待纠错的地址文本;确定与所述待纠错的地址文本对应的地址节点列表,所述地址节点列表包括至少一个节点分支,所述节点分支包括基于地址字典树得到的地址节点,一个地址节点对应于一个行政区域;基于所述至少一个节点分支中每一个节点分支的权重分值或所包含的地址节点的数目,确定目标节点分支;基于所述目标节点分支,确定与所述待纠错的地址文本对应的目标地址。
  • 一种在HDFS插件中集成NFS的方法-202010190542.5
  • 王建圆 - 北京东方金信科技股份有限公司
  • 2020-03-18 - 2023-09-19 - G06F16/182
  • 本发明涉及一种在HDFS插件中集成NFS的方法,其特征在于包括以下步骤:1)根据实际需求,确定需要在HDFS插件中集成的NFS类型,当需要集成的为NFS组件时,进入步骤2),当需要集成的为NFS服务时,进入步骤3);2)在HDFS插件中集成NFS组件,并通过启动HDFS服务,将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中,进而实现HDFS中NameNode元数据备份;3)在HDFS插件中单独设置NFS服务,通过启动NFS服务,实现HDFS中NameNode元数据备份。因此,本发明可以广泛应用于HDFS的数据备份领域中。
  • 一种基于内存元数据的分布式文件管理方法-202010143996.7
  • 蒋海波;余俊男;唐聃;刘罗;王璐;桂承波 - 中国科学院成都生物研究所
  • 2020-03-04 - 2023-09-19 - G06F16/182
  • 本发明提供一种基于内存元数据的分布式文件管理方法,包括:选择某一存储节点为管理节点;对管理节点以外的存储节点进行查询性能评测;各存储节点将性能评测结果发送给管理节点;管理节点根据性能评测结果利用任务分配算法对各存储节点进行查询任务量分配;各存储节点根据分配查询的任务量将对应数量的元数据信息读入到内存中;各存储节点根据读入的元数据信息获得查询文件块信息,并将查询文件块信息发送至管理节点;管理节点整合查询文件块信息为查询结果,并将查询结果返回给客户端。相对于现有技术,本方法使用内存的元数据管理,实现文件在分布式系统中的并行存储、性能的评测与查询任务量的分配,提高分布式存储、查询和读取的效率。
  • 分布式数据管理系统及方法-201811109884.9
  • 鲁道夫·A·圣地亚哥;克劳迪乌·波格丹·谢里·丹尼洛夫;格雷戈·金伯莉 - 波音公司
  • 2018-09-21 - 2023-09-19 - G06F16/182
  • 本发明涉及分布式管理系统及方法。一种计算装置包括被配置为与第二计算装置通信的接口、被配置为存储与存储在第二计算装置处的文件的第二副本同步的文件的第一副本的存储器以及处理器。处理器被配置为响应于在接口不能与第二计算装置通信时接收到对文件的更新,来访问指示与包括该文件的多个文件中的每一个相关联的同步设置的版本控制管理数据。处理器被配置为在确定版本控制管理数据指示与该文件相关联的第一同步设置的条件下,将更新写入第一副本,以及在确定版本控制管理数据指示与该文件相关联的第二同步设置的条件下,避免将更新写入第一副本。
  • 数据处理方法、装置、电子设备及存储介质-201911422019.4
  • 李宗祥 - 咪咕文化科技有限公司;中国移动通信集团有限公司
  • 2019-12-31 - 2023-09-19 - G06F16/182
  • 本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质,本发明实施例将数据加载进Hadoop文件并按列进行存储,使得在Redis中能够建立面向列索引的存储方式,从而可以优化Redis的存储性能。本发明实施例可以根据Redis中各个键值的访问频率,确定数据在Redis中的存储方式为数据还是数据在Hadoop文件中的访问地址,从而可以进一步优化Redis的存储空间,解决因数据量太大无法而放进Redis内存的问题。此外,本发明实施例根据Redis中各个键值的访问频率能够将热点数据留在Redis里,而将冷数据放在Hadoop上,这样可以提高数据访问效率。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top