[发明专利]一种基于优化架构提升访问性能和数据共享能力的方法

说明书

本发明公开了一种基于优化架构提升访问性能和数据共享能力的方法,本方法是从数据库层面将操作类业务与管理类业务分离，由生产库承担电网所需的高频度和高并发应用负荷，由管理库(只读库)承担电网所需的资源高耗型应用负荷。采用生产库和只读库，实现读写分离，分散数据库读写压力。本发明通过作业层和管理分析层在数据库层面和访问控制层面的分离，实现业务访问性能和数据共享能力的提升。

技术领域

本发明涉及一种基于优化架构提升访问性能和数据共享能力的方法，属于信息技术领域。

背景技术

当前的电网G I S平台实现全电压等级电网设备设施的图形、拓扑、台帐的一体化维护，在省级推广过程中存在数据量多，业务应用压力大，性能不够理想，主要原因在于业务应用与查询分析应用未作物理隔离，造成数据库I O性能不理想。同时对于各类图形应用场景性能要求比较高，关系型数据需要对每种图都得进行重新组装，对性能有较大影响。

发明内容

从数据库层面将操作类业务与管理类业务分离，由生产库承担电网所需的高频度和高并发应用负荷，由管理库(只读库)承担电网所需的资源高耗型应用负荷。采用生产库和只读库，实现读写分离，分散数据库读写压力。通过作业层和管理分析层的在数据库层面和访问控制层面的分离，实现业务访问性能和数据共享能力的提升。

具体如下：

1、通过OTG或其他高级数据库复制技术来建设只读库，初步分析业务与数据关系，分区、分类控制只读库数据同步频率，并基于现有应用进行对比测试及性能论证。

2、数据写方面：根据业务特性定义数据转移的范围和频次，适当地牺牲实时性来换取读取性能，同时引入ETL过程和相关机制提高数据写性能。

3、数据读方面：研究HANA内存数据库技术、Hadoop分布式技术架构等技术，融入GI S平台以提升数据读取性能。

4、读写分离验证工作包含数据同步的时效和同步过程对主库性能影响情况。

同步时效验证：在主库和同步库时间绝对一致的前提下，选取部分业务数据表增加一个时间戳字段，该字段为数据写入自动读取当前时间戳作为标记，且不通过同步工具或者ETL同步该字段内容。通过对比主库和同步库同一条记录的时间差可判断出同步时效指标。

性能影响验证：在主库和同步库同时部署NMON主机性能指标采集。每分钟采集一次，形成同步前和同步后的数据对比。主要关注带宽使用率、I/O使用率、内存使用率、CPU使用率指标。

预期结果：在千兆网络环境下，数据同步时效指标必须达到100毫秒以内，同步过程中对主从两端主机综合性能指标影响低于20％。

有益效果

解决了平台由于数据量多，业务应用压力大，数据共享能力差、性能不够理想等瓶颈及问题。

附图说明

图1为本发明示意图。

具体实施方式

本发明的方法是基于优化平台体系架构，提升访问性能和数据共享能力，具体实施过程分两阶段进行，如下：

步骤1).通过OTG或其他高级数据库复制技术来建设只读库，初步分析业务与数据关系，分区、分类控制只读库数据同步频率，并基于现有应用进行对比测试及性能论证。

步骤2).数据写方面，根据业务特性定义数据转移的范围和频次，适当地牺牲实时性来换取读取性能，同时引入ETL过程和相关机制提高数据写性能。

步骤3).数据读方面，研究HANA内存数据库技术、Hadoop分布式技术架构等技术，融入G I S平台以提升数据读取性能。