[发明专利]数据写入的方法、装置及服务器有效
申请号: | 201711146055.3 | 申请日: | 2017-11-17 |
公开(公告)号: | CN107807797B | 公开(公告)日: | 2021-03-23 |
发明(设计)人: | 余涛 | 申请(专利权)人: | 北京联想超融合科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 写入 方法 装置 服务器 | ||
本发明公开一种数据写入的方法、装置及服务器,涉及数据处理技术领域,能够解决现有技术中因待写入对象在进行写入操作之前,其中的数据就被迁移至其他节点,从而导致在对该对象进行写入操作后,该对象中数据不完整的问题。本发明的方法主要包括:在接收到写入请求后,根据写入请求确定待写入的目标对象;将第一存储空间中的目标对象进行锁定,以指示第一存储空间中目标对象的数据不允许被迁移;基于写入请求,将目标对象对应的待写入数据写入第二存储空间,第二存储空间的读写速度快于第一存储空间;根据预设规则,将第二存储空间中已写入的目标对象对应的待写入数据写入第一存储空间。本发明主要适用于基于分布式存储系统存储数据的场景中。
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据写入的方法、装置及服务器。
背景技术
随着互联网技术的发展,数据的存储方法也变得多样化。在当今大数据时代,为了防止数据存储发生瓶颈,出现了一种分布式存储系统,即将数据分散存储在多个独立的设备上。
对于分布式存储系统中的每个节点而言,数据写入时需要写入到HDD(Hard DiskDrive,硬盘驱动器)中进行持久化存储,但是HDD的写入效率较低,因此若客户端需要一次性写入大量数据,则需要花费较长时间才能写入成功,从而导致响应客户端的效率较低。为了加快数据写入效率,在接收到客户端发送的写入请求后,先将数据以操作日志的形式写入到写入效率较高的SSD(Solid State Disk,固态硬盘)中,当数据的写入到达一定数据量阈值或者时间阈值时,根据操作日志将SSD中的数据迁移到HDD中,以使数据得到持久化存储。
对于整个分布式存储系统而言,由于每个节点的使用频度可能不均衡,所以每个节点的负载(主要指数据的存储)可能不均衡,从而导致分布式存储系统整体的读写性能降低。为了提高分布式存储系统整体的读写性能,可以将负载量较大的节点中的数据迁移到负载量较小的节点中,并且在进行数据迁移时,以对象为单位进行迁移。
然而,发明人在实现上述方案的过程中发现,在将数据从SSD迁移至HDD的过程中,也会有新的数据写入SSD当中。由此HDD中会源源不断地写入数据,并且当HDD中数据量到达一定阈值时,需要将HDD中的部分数据迁移至其他节点(以对象为单位进行迁移),以使分布式存储系统得到均衡存储。然而,这些被迁移数据所在的对象,很可能是正处于待写入状态的对象,即在将待写入数据写入HDD的对应对象之前,该对象中的数据已被迁移至其他节点,从而导致将待写入数据写入HDD中的对应对象时,该对象中已没有数据,进而导致该对象中的数据不完整,并且该其他节点的对象中也因没有该待写入数据而导致对象的数据不完整。
发明内容
有鉴于此,本发明提供一种数据写入的方法、装置及服务器,能够解决现有技术中因待写入对象在进行写入操作之前,其中的数据就被迁移至其他节点,从而导致在对该对象进行写入操作后,该对象中数据不完整的问题。
第一方面,本发明提供了一种数据写入的方法,所述方法包括:
在接收到写入请求后,根据所述写入请求确定待写入的目标对象;
将第一存储空间中的目标对象进行锁定,以指示所述第一存储空间中目标对象的数据不允许被迁移;
基于所述写入请求,将所述目标对象对应的待写入数据写入第二存储空间,其中,所述第二存储空间的读写速度快于所述第一存储空间;
根据预设规则,将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。
第二方面,本发明提供了一种数据写入的装置,所述装置包括:
确定单元,用于在接收到写入请求后,根据所述写入请求确定待写入的目标对象;
锁定单元,用于将第一存储空间中的目标对象进行锁定,以指示所述第一存储空间中目标对象的数据不允许被迁移;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京联想超融合科技有限公司,未经北京联想超融合科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711146055.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置