[发明专利]一种大规模时序数据的存储管理方法有效

专利信息
申请号: 201010610680.0 申请日: 2010-12-29
公开(公告)号: CN102043726A 公开(公告)日: 2011-05-04
发明(设计)人: 张卫平;张松波;饶春平;张元丰;刘为怀 申请(专利权)人: 北京播思软件技术有限公司
主分类号: G06F12/06 分类号: G06F12/06
代理公司: 南京经纬专利商标代理有限公司 32200 代理人: 王金双
地址: 100102 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 一种大规模时序数据的存储管理方法,该方法包括以下步骤:配置和部署分布式数据存储管理系统的初始分区和拓扑结构;预修改分区规则,增加新的分区版本;新分区版本上线;逐渐淘汰删除旧分区版本的数据直到完全淘汰删除旧分区版本及其数据和增加多个分区版本。本发明的大规模时序数据的存储管理方法,每当分布式数据存储管理系统的数据分区修改时,就产生新的分区版本,并根据数据的时间标签和分区版本的时效存取数据,而旧版本的分区不会被立刻删除,而是逐渐淘汰删除,在旧版本分区下所存储和管理的数据也不会按照新版本分区进行迁移,不影响系统节点服务性能,实现系统数据分区的平滑修改,使分布式数据存储管理系统可以持续提供服务。
搜索关键词: 一种 大规模 时序 数据 存储 管理 方法
【主权项】:
一种大规模时序数据的存储管理方法,该方法包括以下步骤:配置和部署分布式数据存储管理系统的初始分区和拓扑结构;预修改分区规则,增加新的分区版本;新分区版本上线;逐渐淘汰删除旧分区版本的数据直到完全删除旧分区版本及其数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京播思软件技术有限公司,未经北京播思软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201010610680.0/,转载请声明来源钻瓜专利网。

同类专利
  • 控制存储装置的方法-201810615667.0
  • 陈群杰 - 慧荣科技股份有限公司
  • 2018-06-14 - 2019-11-05 - G06F12/06
  • 本发明公开了一种控制一存储装置的方法。所述方法可包括:传送符合一第一通信协议的一初始指令以及包括符合一第二通信协议的一命令参数的一数据负载至所述存储装置;传送符合所述第一通信协议的一设定指令至所述存储装置;传送符合所述第一通信协议的一确认指令至所述存储装置;以及依据对应至所述确认指令的一数据负载以确认所述初始指令、所述设定指令以及所述确认指令是否成功地执行。本发明的方法与相关装置能通过现有SCSI协议中的标准指令,诸如写入缓冲指令与读取缓冲指令,以在SCSI协议实现NVMe协议的指令传送与信息接收。
  • 一种内存数据的迁移方法和节点控制器-201510633543.1
  • 倪佳驹;陈奔;刘钢 - 华为技术有限公司
  • 2015-09-29 - 2019-11-05 - G06F12/06
  • 本发明实施例公开了一种内存数据的迁移方法和节点控制器,涉及通信技术领域,能够实现跨QPI域的内存数据的迁移。具体方案为:NC向第一CPU发送第一指示消息,第一指示消息用于指示第一CPU读取第一地址中的内存数据;NC接收第一CPU发送的第一数据,第一数据为第一地址中的内存数据;NC向第一CPU发送第二指示消息,第二指示消息用于指示第一CPU将第一数据写回第一地址;NC根据预先建立的镜像关系,确定与第一地址对应的第二地址;NC向第二CPU发送第三指示消息,第三指示消息用于指示第二CPU将第一数据写入第二地址。
  • 用于管理级联神经网络中的存储器的方法和安排-201910201161.X
  • B·崔;K·朴;S·卞 - 英特尔公司
  • 2019-03-15 - 2019-10-29 - G06F12/06
  • 描述了用于管理级联神经网络中的存储器的方法和安排。逻辑可以减小用于深度神经网络推断计算的运行时间存储器的大小。逻辑可以为神经网络的两个或更多个级确定在执行所述两个或更多个级期间同时存在的共享块分配或共享存储器块分配的计数。逻辑可以比较所述共享块分配的计数以确定所述计数中的最大计数。逻辑可以减小用于深度神经网络推断计算的推断计算时间。逻辑可以确定所述计数的共享存储器块分配中的所述共享块分配的每一个的大小,以容纳用于在执行所述级联神经网络的所述两个或更多个级期间存储在共享存储器中的数据。逻辑可以基于输入数据之间缺乏相互依赖性来确定级联神经网络的所述两个或更多个级的每级批大小。
  • 一种内存调度方法及装置-201610830230.X
  • 郝珅 - 上海华为技术有限公司
  • 2016-09-19 - 2019-10-18 - G06F12/06
  • 本发明实施例公开了一种内存调度方法,用于简化内存划分,提高调度效率。本发明实施例方法包括:根据预置规则将内存划分成多个内存块,所述内存块的大小为固定值;当接收到目标任务请求时,确定所述目标任务请求对应的多个子需求,每一个所述子需求的大小均小于所述多个内存块中容量最大的内存块的大小;建立所述多个子需求与所述多个内存块的映射关系;根据所述多个子需求与所述多个内存块的映射关系向内存管理模块申请所述目标任务请求对应的内存块集合。本发明实施例还提供了一种调度装置,用于简化内存划分,提高调度效率。
  • 使用外接存储器在IOS系统中存取图像数据的方法及装置-201610835098.1
  • 杨昌军;伍毅;罗晶;张洋 - 深圳市华美兴泰科技股份有限公司
  • 2016-09-20 - 2019-10-11 - G06F12/06
  • 本发明涉及一种使用外接存储器在IOS系统中存取图像数据的方法,包括如下步骤:取得IOS系统中摄像头输出的原始图像数据,并将其送入第一编码单元进行处理;所述第一编码单元将所述送入的图像数据转换为标准的、便于存储的影音文件并输出;调用系统的第一查找函数和第一写函数将所述编码器输出的文件写入到外接存储器。本发明还涉及一种实现上述方法的装置。实施本发明的使用外接存储器在IOS系统中存取图像数据的方法及装置,具有以下有益效果:对于外接存储器中的图像数据的存取变得较快、较为容易。
  • 在存储器接口上的分布式过程执行和文件系统-201910475716.X
  • S·伍;R·佩雷戈;P·巴特拉;L·莱;C-M·杨 - 拉姆伯斯公司
  • 2015-02-21 - 2019-09-24 - G06F12/06
  • 在DRAM存储器通道上的存储器模块上包括非易失性存储器(例如,闪存、固态盘)。驻留在DRAM存储器通道上的非易失性存储器可以被集成到操作系统的现有文件系统结构中。驻留在DRAM存储器通道上的非易失性存储器可以被呈现为分布式文件系统的一部分或全部。请求和/或远程过程调用(RPC)请求,或者与请求和/RPC相关联的信息,可以通过DRAM存储器通道被路由至存储器模块,以便于服务计算和/或分布式文件系统命令。
  • 快闪存储器装置及其交错存取方法-201510822602.X
  • 陈孟豪;陈俊达 - 点序科技股份有限公司
  • 2015-11-24 - 2019-09-17 - G06F12/06
  • 本发明提供一种快闪存储器装置及其交错存取方法,交错存取方法的步骤包括:设置多个快闪存储器群组,各快闪存储器群组包括多个快闪存储器;设置存取设定数据库,存取设定数据库包括分别对应快闪存储器群组的多个数据栏位;依据快闪存储器的忙碌闲置状态,来分别记录多个识别信息至数据栏位中至少其中之二;依序读取数据栏位中的识别信息,并依据各识别信息针对对应的快闪存储器进行存取动作。如此一来,快闪存储器装置的存取效率将可有效的增加,进而提升所属系统的效率。
  • 一种基于逻辑卷的动态管理磁盘的方法及系统-201510876769.4
  • 李林 - TCL集团股份有限公司
  • 2015-12-03 - 2019-09-10 - G06F12/06
  • 本发明公开了一种基于逻辑卷的动态管理磁盘的方法及系统,所述方法包括:预先为每个逻辑卷配置存储空间大小,建立逻辑卷与磁盘的物理存储空间的对应关系表;当检测到磁盘的物理存储空间扩容或缩减时,重新配置逻辑卷存储空间大小,更新逻辑卷与物理存储空间的对应关系表。本发明通过预先建立磁盘中逻辑卷与物理存储空间的对应关系,当有一个TF储存卡被异常拔掉,其他TF储存卡也能正常使用,实现磁盘的动态管理。
  • trim命令响应方法和系统及操作系统-201610089522.2
  • 邹左衡 - 珠海全志科技股份有限公司
  • 2016-02-17 - 2019-08-30 - G06F12/06
  • 本发明公开了一种trim命令响应方法和系统及操作系统,其中方法包括:接收主机下发的当前trim命令;获取当前trim命令所指定的当前逻辑地址;根据当前trim命令,在内存中修改当前映射关系后,返回表示当前trim命令完成的应答信号至主机;且当主机系统在断电后重新上电时,接收主机主动下发的第一trim命令,并根据第一trim命令在内存中建立相应的第一映射关系。其只需在内存中修改相应的映射关系即可,避免了对闪存中的物理地址进行的修改,因此节省了对闪存的物理地址进行修改的处理时间。最终有效解决了传统的trim命令的响应方式影响命令响应时间,降低命令响应效率的问题。
  • 闪存数据的控制方法及控制系统-201611020229.7
  • 席爱民 - 深圳市先天海量信息技术有限公司
  • 2016-11-17 - 2019-08-23 - G06F12/06
  • 本发明提供一种闪存数据的控制方法和控制系统,所述控制方法包括以下步骤:根据读/写数据的逻辑页号得到逻辑块号和块内页偏移号;根据所述逻辑块号和预设的第一映射表确定是否存在对应的第一物理块号,如果否,查找空白物理块进行数据写入或结束读取操作;如果是,顺次读取所述第一物理块号的物理页表格以确定所述第一物理块号中是否存在块内页偏移号对应物理页,如果是,在对应物理页进行数据的写入或读出;如果否,根据第一物理块号和预设的第二映射表确定是否存在对应的第二物理块号,如果是,顺次读取所述第二物理块号的物理页表格以确定所述第二物理块号中是否存在块内页偏移号对应物理页。
  • 存储控制装置、存储控制方法和记录介质-201910092283.X
  • 铃木悠介;仓泽祐辅;久保田典秀;绀田与志仁;梶山真理乃;田中勇至;伊贺敏雄;武田和也;渡边岳志 - 富士通株式会社
  • 2019-01-30 - 2019-08-16 - G06F12/06
  • 本公开涉及存储控制装置、存储控制方法和记录介质。存储控制装置包括存储器和处理器。存储器被配置成存储元信息和映射信息,元信息将逻辑地址与数据块标识符和索引相关联,逻辑地址用于标识来自使用存储装置的信息处理装置的数据,数据块标识符用于标识数据块,索引指示数据的附加写入的顺序,数据块用于数据在存储装置上的布置并且包括报头区域和有效载荷区域,映射信息将数据块标识符与指示存储装置上的物理位置的物理标识符相关联。处理器基于物理标识符和索引指定数据块和有效载荷区域中的写入位置,将数据写入所指定的数据块中以及执行写入控制,写入控制用于在索引所指定的位置处写入包括偏移和数据长度的数据单元报头。
  • 存储器的磨损次数平衡方法及装置-201510687930.3
  • 叶智豪;尹慧;郭丹 - 深圳市江波龙电子股份有限公司
  • 2015-10-21 - 2019-08-13 - G06F12/06
  • 本发明适用于存储技术领域,提供了存储器的磨损次数平衡方法及装置,包括:创建并维护存储器的块信息表,所述块信息表中记录了所述存储器的每个块实时的磨损次数;当所述存储器执行数据写入操作时,在所述块信息表中为写入数据的块配置第一磨损信息;计算所述当前时刻的第一差值和第二差值;若所述第一差值不小于所述预设的第一阈值且所述第二差值不小于所述预设的第二阈值,将第一块中的数据迁移至第二块中,所述第一块的所述第一磨损信息与所述第二磨损信息相等,所述第二块为所述存储器中所述磨损次数最大的空块。本发明提升了存储器的稳定性,延长了存储器的使用寿命。
  • 用于存储器地址对准的方法和装置-201410756095.X
  • W·P·斯奈德二世;A·K·库杰特科维斯基 - 凯为有限责任公司
  • 2014-12-10 - 2019-08-02 - G06F12/06
  • 本发明的各实施例涉及用于存储器地址对准的方法和装置。公开了一种用于存储器地址对准的方法和体现该方法的系统,该方法包括:配置一个或者多个自然地对准的缓冲器结构;在一个或者多个自然地对准的缓冲器结构中的一个自然地对准的缓冲器结构的缓冲器中提供返回地址指针;确定一个或者多个自然地对准的缓冲器结构中的该一个自然地对准的缓冲器结构的配置;将模运算应用于返回地址和确定的配置的至少一个参数;以及提供根据应用的模运算确定的栈式地址指针。
  • 扩展内存的访问方法、设备以及系统-201910200464.X
  • 崔泽汉;陈明宇;刘垚;阮元 - 华为技术有限公司;中国科学院计算技术研究所
  • 2015-04-23 - 2019-07-26 - G06F12/06
  • 本发明实施例公开了一种扩展内存的访问方法、设备以及系统。其中,方法包括:接收计算机的处理器系统串行发送的N+1条内存访问请求,每条内存访问请求中访问地址互不相同且都指向同一物理地址,物理地址为待访问数据在所述扩展内存上的存储地址,N≥1且N为整数;在接收到第一条内存访问请求时,向扩展内存发送读取请求,并向处理器返回特定响应消息;在从扩展内存读取待访问数据的过程中,每接收到一条内存访问请求,在经过内存总线协议规定的时延内,向处理器返回特定响应消息,直到待访问数据被写入数据缓冲器;之后,将待访问数据返回给所述处理器系统。
  • 一种降低写入放大率并提升随机写入性能的算法-201910314318.X
  • 倪黄忠 - 深圳市时创意电子有限公司
  • 2019-04-18 - 2019-07-26 - G06F12/06
  • 本发明公开了一种降低写入放大率并提升随机写入性能的算法,本发明适用于搭载闪存(FLASH memory)的储存装置产品,本发明算法的关键之处为批量更新L2P Tables,做法是决定一个写入数据量,本算法定义为数据块(Data Block),Data Block未写满之前,写入数据后都不需要立即更新RAM Buffer上的L2P Table,Data Block写满后才作批量更新,批量更新过程利用代码变量做位表来对已更新和未更新的实体地址分群,进而减少代码循环运行次数。本发明的算法减少了代码循环运行次数和FLASH写入次数,大大提升了随机写入速度,并且降低了写入放大率从而减缓了FLASH寿命损耗。
  • 存储数据的写入方法、读取方法以及智能终端-201610293855.7
  • 邓铁军 - 捷开通讯(深圳)有限公司
  • 2016-05-05 - 2019-07-26 - G06F12/06
  • 本发明公开了一种存储数据的写入方法、读取方法以及智能终端,存储数据的写入方法包括,智能终端获取待存储数据的逻辑地址以及第一存储分区存储的地址参数;根据所述逻辑地址以及所述地址参数确定所述待存储数据在第二存储分区的物理地址;将所述待存储数据存储在所述第二存储分区中所述物理地址对应的存储单元。通过将存储于第一存储分区的地址参数与第二参数用于存储存储数据的存储单元建立重新的映射关系,不仅能够实现存储数据的加密保存,不容易被篡改,而且,操作过程也不复杂,不会额外增加智能终端的工作量,为用户提供方便。
  • 半导体器件及其操作方法-201410504433.0
  • 金东建;金弘植;权容技 - 爱思开海力士有限公司
  • 2014-09-26 - 2019-07-23 - G06F12/06
  • 一种半导体器件在每个第一间隔将半导体存储器件的逻辑地址和物理地址之间的关系重新映射,该半导体器件可以包括:损耗均衡控制器,该损耗均衡控制器被配置成选择半导体存储器件的第一物理地址以将对应于半导体存储器件的第一物理地址的逻辑地址重新映射至半导体存储器件的第二物理地址,以及调节第一间隔。
  • 一种基于非统一内存访问架构的内存块组合方法及装置-201610844237.7
  • 张健;王梅 - 深圳职业技术学院
  • 2016-09-23 - 2019-07-12 - G06F12/06
  • 本发明属于云存储技术领域,涉及一种基于非统一内存访问架构的内存块组合方法及装置。方法包括三个步骤,1)将可用节点提供的内存按照节点的频率,将同一频率的可用节点的内存逻辑连接构成一个内存块;2)将内存块作为窗口块,通过调整各窗口块之间的排列顺序以及窗口块中每个可用节点的排列顺序,确定连接成本最小的逻辑排列结果,其中逻辑排列结果中包括连接成本最小的逻辑排列中的主节点,将逻辑排列结果记录在路由表中;3)将路由表存储于与主节点相连接的控制处理器中,并通过控制处理器分配给每个内存块全局地址,以构建内存云。本发明能够克服由于集群互连网络的低效率和杂合不同的存储器,尽可能地构造高质量的非统一访问内存云存储。
  • 接收电路、调整接收电路中的定时的方法及半导体器件-201610334653.2
  • 狩野博之;青岛贵纪;鹈饲裕明;小岛和美 - 株式会社索思未来
  • 2016-05-19 - 2019-07-09 - G06F12/06
  • 本发明公开了接收电路、调整接收电路中的定时的方法及半导体器件。根据本发明的接收电路包括:控制信号生成电路,其基于选通信号生成第一使能信号,并且基于核心时钟信号和指针控制信号生成第二使能信号。模式数据生成电路根据第一使能信号生成确定模式数据。异步传输电路基于第一使能信号和选通信号对确定模式数据进行锁存,并且基于第二使能信号和核心时钟信号输出与经锁存的确定模式数据对应的确定数据。确定电路基于确定数据来确定用于生成指针控制信号的定时。设定值计算电路基于确定电路的确定结果计算传输设定值。控制信号生成电路基于传输设定值更新指针控制信号。
  • 用于存储器交错的可配置扩展函数-201480049360.9
  • 王风;博胡斯拉夫·雷赫利克;安瓦尔·罗希兰 - 高通股份有限公司
  • 2014-09-12 - 2019-07-09 - G06F12/06
  • 本发明提供一种通过在连续回合中将存储器的地址位反复地映射到数目N个存储器通道而交错所述存储器的方法,其中在除了最后回合的每一回合中:选择地址位的独特子集;基于地址位的所述所选择子集确定可能独特组合的最大数目(L);将组合以最大可能次数(F)映射到所述N个存储器通道,其中所述N个存储器通道中的每一者被映射到相等数目个组合;及当剩余无法映射到所述N个存储器通道中的每一者的数个组合(K,其小于N)时,进入下一回合。在所述最后回合中,将在先前回合中未用于所述子集中的剩余最高有效地址位映射到所述N个存储器通道中的每一者。
  • 基于混合存储器立方体系统互连目录的高速缓冲存储器一致性方法-201580031855.3
  • 约翰·莱德尔;理查德·C·墨菲 - 美光科技公司
  • 2015-05-07 - 2019-07-09 - G06F12/06
  • 一种系统包含多个主机处理器及经配置为用于所述主机处理器的分布式共享存储器的多个混合存储器立方体HMC装置。HMC装置包含:多个集成电路存储器裸片,其包含布置于第二存储器裸片的顶部上的至少第一存储器裸片,且所述存储器裸片的存储器的至少一部分经映射以包含存储器一致性目录的至少一部分;及逻辑库裸片,其包含:至少一个存储器控制器,其经配置以管理至少一个第二装置对所述多个存储器裸片的存储器的三维3D存取;及逻辑电路,其经配置以针对存储于所述多个存储器裸片的所述存储器中的数据而实施存储器一致性协议。
  • 双用户系统间的数据共享方法、移动终端及其系统-201610324385.6
  • 邹学平;孟占军;韩澍青;周佳;冯继超 - 北京珠穆朗玛移动通信有限公司
  • 2016-05-16 - 2019-07-02 - G06F12/06
  • 本发明涉及一种双用户系统间的数据共享方法,包括以下步骤:将物理存储空间划分为:第一数据存储空间、第二数据存储空间和公共存储空间。在安全用户系统下选定需要分享的内容,发出请求指令至控制处理模块;控制处理模块接收到该请求指令后,通知智能用户系统在第二数据存储空间中分配一个存储区域,并为该储存区域分配一个写权限;控制处理模块将选定需要分享的内容复制后写至该存储区域;当控制处理模块完成信息写入后,关闭为该储存区域分配的写权限。相应地,本发明还提供了另外两种数据交互方法,以及与上述方法对应的移动终端和数据交互系统。相比于现有技术,本发明可以实现两个系统之间的数据共享。
  • 一种3D闪存的控制方法及控制系统-201610620730.0
  • 楚一兵 - 深圳市瑞耐斯技术有限公司
  • 2016-08-01 - 2019-06-28 - G06F12/06
  • 本发明提供一种3D闪存的控制方法和控制系统。所述控制方法包括以下步骤:在进行数据的读/写操作时,根据读/写数据的逻辑页号得到逻辑块号和块内页偏移号;根据预设的映射表得到所述逻辑块号对应物理块链的入口物理块号;在所述入口物理块号对应物理块所在的当前物理块链中由前往后查找所述块内页偏移号对应物理页是否空闲或是否存在有效数据,如果是,进行数据的写入或读出;如果否,在进行写操作时从当前物理块链最后一个物理块开始由后往前查找空闲物理页或获取空闲物理块加入当前的物理块链中,进入进行数据的写入的步骤;在进行读操作时从当前物理块链最后一个物理块开始由后往前查找有效数据并当没有查找到有效数据时提示无数据可读。
  • 在存储设备中加标签-201380060813.3
  • D.布奇霍尔兹;D.莫干 - 英特尔公司
  • 2013-06-13 - 2019-06-14 - G06F12/06
  • 在实施例中,由实体发布的命令可以由被包含在存储设备中的控制器获取。命令可以由实体发布以访问存储设备中的块。实体可以与可以标识实体的标签相关联。标签可以与块相关联。关于标签与块之间的关联的信息可以存储在存储设备中。
  • 一种3D闪存的控制方法及控制系统-201610595172.7
  • 楚一兵 - 深圳市瑞耐斯技术有限公司
  • 2016-07-26 - 2019-06-11 - G06F12/06
  • 本发明提供一种3D闪存的控制方法和控制系统。所述控制方法包括以下步骤:根据预设的映射表得到所述逻辑块号对应物理块链的入口物理块号;判断所述入口物理块号对应物理块中所述块内页偏移号对应物理页是否空闲或是否存在有效数据,如果是,进行数据的写入或读出;如果否,在进行写操作时,查找所述当前物理块链中各个替换块是否有空闲物理页,如果是,在所述空闲物理页中进行数据的写入,如果否,则查找所述当前物理块链之外的物理块链是否存在空闲物理块,如果存在空闲物理块,将所述空闲物理块分配给所述当前物理块链并在所述空闲物理块的空闲物理页中进行数据的写入,如果没有存在空闲物理块,则进行物理块的擦除回收操作。
  • 操作存储器系统的非易失性存储器的方法-201510138143.3
  • 崔仁奂;宋秉俊 - 三星电子株式会社
  • 2015-03-26 - 2019-06-07 - G06F12/06
  • 本发明提供了一种操作存储器系统的非易失性存储器(NVM)的方法,该方法包括以下步骤:计算从非易失性存储器的多个存储器块中将擦除块分配为自由块的连续分配之间的分配间隔;以及根据分配间隔调整所述多个存储器块的擦除块的数量。擦除块是所述多个存储器块中的具有被擦除的状态的存储器块,而自由块是擦除块中的被选择来写入数据的存储器块。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top