[发明专利]高性能数据仓库基础架构

说明书

技术领域

本发明涉及一种数据存储系统，特别是涉及一种大数据的存储系统。

背景技术

对于一个集团公司来说，都会存在多个不同地域的分公司，分公司的级别可以从二级、三级直到五级，每一家分公司作为独立的机构更愿意将自己的数据放在单独的服务器上，形成一个单独的数据仓库，这种按公司来划分的数据仓库结构，称之为分布式数据仓库系统。由于每一个分布式数据仓库系统都会由几个相关专业系统形成，其数据作用域受软件系统和硬件系统的结构限制，使得数据的融合和利用受到地域限制，主要表现在：

各分布式数据仓库难以管控。集团公司的生产数据合并报表难以在这种分布式环境下得到很好的出具。合并报表主要的数据之一就是组织机构，每台服务器上都存在一份单独的组织机构图。某一时点，我们假设这个组织机构数据在所有分布式数据仓库中都是一样的。过了1个月，美国分公司并购了ABC公司，那么该项修改在美国分公司的数据仓库中得到了更新，但是，集团的组织机构数据中并不存在ABC公司。非洲分公司和远东分公司的数据仓库中也不存在ABC公司。无法保证各分布式数据仓库的主数据一致性。

各分布式数据仓库的数据同步存在时间差。分布式数据仓库系统必须选择一个同步时间点，将所有网络连接的多个数据仓库进行同步更新，才能保证所有数据仓库中数据的准确性。这种分布式数据仓库局部的人员原则上只能查看局部数据，为了其他目的而查看全局数据将面临2个问题，一是数据一致性问题，同步的时间与ABC公司更新的时间必定有一个时间差，在这个时间差之间数据很难做到一致。

各分布式数据仓库的数据同步过程中的数据安全及完整性传输存在潜在隐患。分布式数据仓库数据传输要素包括传输频率、传输的合法性（跨越作用域），无法确保信息来源于正确的地方，无法设定权限保证只有需要了解ABC公司更新的数据仓库才能接收到。

目前形成分布式数据仓库系统的专业系统通常利用SAP系统软件，必然会出现开发、测试、采集和生产等复杂的系统间连接和与具体生产过程的软硬件衔接，这会造成集团层面数据仓库系统无法进行软硬件两方面的有效优化。

发明内容

本发明的目的是提供一种高性能数据仓库基础架构，解决分布式数据仓库由于硬件架构分散，造成软件系统受作用域和物理地域限制，数据的一致性和同步性，以及数据安全性无法保证的技术问题。

本发明的高性能数据仓库基础架构，第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机，还包括负载均衡器、开发服务器集群、测试服务器集群、采集与调测服务器集群和生产服务器集群，各服务器集群分别与第一光纤交换机和第二光纤交换机建立通信链路，各服务器集群分别通过负载均衡器与第二核心交换机和虚拟局域网交换机建立通信链路。

所述各硬件服务器集群中的每个服务器都包括四个数据端口，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机，各负载均衡器的请求侧数据端口分别与第二核心交换机和虚拟局域网交换机建立通信链路。

所述开发服务器集群中服务器的第一数据端口连接第一负载均衡器的负载分配侧的相应数据端口，开发服务器集群中服务器的第二数据端口连接第二负载均衡器的负载分配侧的相应数据端口。

所述测试服务器集群中服务器的第一数据端口连接第二负载均衡器的负载分配侧的相应数据端口，测试服务器集群中服务器的第二数据端口连接第一负载均衡器的负载分配侧的相应数据端口。

所述采集与调测服务器集群中服务器的第一数据端口连接第三负载均衡器的负载分配侧的相应数据端口，采集与调测服务器集群中服务器的第二数据端口连接第四负载均衡器的负载分配侧的相应数据端口。

所述生产服务器集群中服务器的第一数据端口连接第四负载均衡器的负载分配侧的相应数据端口，生产服务器集群中服务器的第二数据端口连接第三负载均衡器的负载分配侧的相应数据端口。

还包括第二采集与调测服务器集群，其中的服务器都包括四个数据端口，服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。