[发明专利]非关系型数据库的控制方法及装置有效
申请号: | 201710258351.6 | 申请日: | 2017-04-19 |
公开(公告)号: | CN107122435B | 公开(公告)日: | 2021-02-12 |
发明(设计)人: | 樊哲 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/245 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苏培华 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关系 数据库 控制 方法 装置 | ||
本发明提供了一种非关系型数据库的控制方法及装置,其中的方法包括:按照业务类型,将业务数据存储在该业务类型对应的数据表内,并将所述数据表内的预先选定的数据确定为延迟加载数据;在实际使用所述延迟加载数据时,判断所述延迟加载数据是否已从所述非关系型数据库读取过;如果没有读取过,则从所述非关系型数据库中读取所述数据,并将读取的所述数据加入到已读取数据集合中;如果读取过,从保存的已读取数据集合中获取所述延迟加载数据。本发明可减少客户端的资源开销以及网络传输的开销,减少对数据无谓的加载。
技术领域
本发明涉及计算机及互联网技术领域,特别是涉及一种非关系型数据库的控制方法及装置。
背景技术
随着互联网时代的到来,社交网络、微博、位置服务等面向普通互联网用户的交互网站正蓬勃兴起,各种网站向数以亿计的用户提供基于互联网和无线网络的交互服务。遍布全世界的互联网用户每天都进行多种多样的交互,随时都在制造各种个样的数据,这些数据的数量是单机时代数据量的数倍。
面对数据的持续增长,关系型数据库在很多方面已经无法满足系统需求,例如,关系型数据库在高并发读写、海量数据高效读写、高可用性以及高扩展性等方面有所欠缺。而非关系型数据库,例如NoSQL、Mongodb、Hbase等,可以达到上述方面的要求,但是又欠缺对数据一致性的能力。
目前互联网网站系统面对数据不断增长、并发持续增高的情况,使用非关系型数据库势在必行,但同时又需要数据的强一致性。在各个非关系型数据库中,NoSQL对一致性的支持很有限,Mongodb在同一个collection(关系型数据库的表)中的操作是原子性的,Hbase则是只提供行级服务。因此,在使用非关系型数据库时,需要把需求事务的数据存储在一个表中,作为一个整体单位。当这个单位很大、层级很多时,每次操作不一定需要处理全部数据,可能只需要读写部分层级。那么,此时将整体表结构全部读写,将耗费不必要的系统开销、网络传输等资源。
发明内容
为了减少客户端的资源开销、网络传输的开销以及减少对数据无谓的加载,本发明实施例提供一种非关系型数据库的控制方法及装置。
根据本发明的一个方面,提供一种非关系型数据库的控制方法,包括:按照业务类型,将业务数据存储在该业务类型对应的数据表内,并将所述数据表内的预先选定的数据确定为延迟加载数据;在实际使用所述延迟加载数据时,判断所述延迟加载数据是否已从所述非关系型数据库读取过;如果没有读取过,则从所述非关系型数据库中读取所述数据,并将读取的所述数据加入到已读取数据集合中;如果读取过,从保存的已读取数据集合中获取所述延迟加载数据。
优选的,所述预先选定的数据包括数据长度超过字段阈值的大字段数据;所述方法还包括:在首次读取而非实际使用所述大字段数据时,直接忽略不做读取操作。
优选的,所述预先选定的数据包括多级数据,所述多级数据是指以树形结构存储的数据;所述方法还包括:分层级获取多级数据,每次仅获取一级数据。
优选的,所述多级数据包括父级数据和子级数据;所述分层级获取多级数据,每次仅获取一级数据,包括:首次获取多级数据时,仅从所述非关系型数据库获取父级数据,忽略子级数据,并将所述父级数据加入到所述已读取数据集合中;当需要使用所述子级数据时,判断是否已从所述非关系型数据库读取过所述子级数据,如果读取过,则从所述已读取数据集合中获取所述子级数据;如果没有读取过,则从所述非关系型数据库读取所述子级数据,并将所述子级数据加入到所述已读取数据集合中。
优选的,还包括:对于所述延迟加载数据,设置已读取标志,用于表明是否已从所述非关系型数据库中读取过;通过是否具有所述已读取标志,判断是否已从所述非关系型数据库读取过所述延迟加载数据。
优选的,还包括:在向已读取数据集合存储数据时,仅保存具有所述已读取标志的数据,和/或,根据新增数据请求增加数据,和/或,根据删除数据请求删除数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710258351.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种将对账文件导入数据库的方法和系统
- 下一篇:大数据统计分析系统