[发明专利]基于OLAP/OLTP混合应用的数据存储系统及方法有效
申请号: | 201810320910.6 | 申请日: | 2018-04-11 |
公开(公告)号: | CN108616581B | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 吕骏 | 申请(专利权)人: | 深圳纳实大数据技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F16/182;G06F9/50 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 olap oltp 混合 应用 数据 存储系统 方法 | ||
本发明提供基于OLAP/OLTP混合应用的数据存储系统及方法,所述数据存储系统包括:负载均衡服务器,通过请求访问判断路由服务器的状态,并统计请求分配可用的路由服务器使其达到负载均衡;路由服务器,与所述负载均衡服务器实现通信,用于实现数据写入过程和数据查询过程;配置服务器,与所述路由服务器实现通信,用于存放数据的元数据信息和索引,记录每一个数据的存放位置;分片服务器,与所述路由服务器实现通信,用于实现异步备份和分离读写。本发明基于Mongo DB数据库的开源数据库实现了二次开发,进而实现了同时支持联机事务处理(OLTP)和联机分析处理(OLAP)两种业务类型的分布式数据存储系统,能快速横向扩展。
技术领域
本发明涉及一种数据存储系统,尤其涉及一种基于OLAP/OLTP混合应用的数据存储系统,并涉及应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
背景技术
Mongos DB数据库是基于分布式文件存储的开源数据库,因为分布式的数据存储而广泛应用,但是,现有技术的Mongos DB数据库过于复杂,进而导致存在以下几个问题:第一、存储资源不足,使得Mongos DB数据库所在的系统升级难度大;第二、计算资源不足,引起性能瓶颈;第三、Mongos DB数据库系统吞吐跟不上;第四、无法快速部署,并且后期运营和维护的难度都很大。
发明内容
本发明所要解决的技术问题是需要通过负载均衡合理解决Mongos DB数据库的瓶颈,并且在Mongos DB数据库的基础上支持联机分析处理(OLAP),进而可以快速横向扩展的基于OLAP/OLTP混合应用的数据存储系统,并进一步提供应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
对此,本发明提供一种基于OLAP/OLTP混合应用的数据存储系统,包括:
负载均衡服务器,通过请求访问判断路由服务器的状态,并统计请求分配可用的路由服务器使其达到负载均衡;
路由服务器,与所述负载均衡服务器实现通信,用于实现数据写入过程和数据查询过程;
配置服务器,与所述路由服务器实现通信,用于存放数据的元数据信息和索引,记录每一个数据的存放位置;
分片服务器,与所述路由服务器实现通信,用于实现异步备份和分离读写。
本发明的进一步改进在于,所述负载均衡服务器基于分布式内存数据库,通过请求访问判断配置文件中路由服务器是否存活,对死亡节点对应的路由服务器进行剔除,在预设的第一固定时间后重新请求并判断各个节点是否存活;同时,通过统计请求分配可用的路由服务器使其达到负载均衡。
本发明的进一步改进在于,每隔预设的第二固定时间进行开源数据库集群信息的查询,自动更新相关配置,所述相关配置包括写入刷新时间和读取刷新时间。
本发明的进一步改进在于,所述路由服务器的整体工作过程包括:
步骤S1,应用客户端通过所述路由服务器进行数据查询或数据写入操作;
步骤S2,所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器,以获取相关分片服务器的信息;
步骤S3,所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4,所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
本发明的进一步改进在于,所述配置服务器用于存放数据的元数据信息,并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置。
本发明的进一步改进在于,所述路由服务器实现数据写入过程包括以下步骤:
步骤A1,应用客户端访问所述负载均衡服务器以获取路由服务器地址;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳纳实大数据技术有限公司,未经深圳纳实大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810320910.6/2.html,转载请声明来源钻瓜专利网。