[发明专利]一种在负载运行状态下双机大数据应用附件管理装置及方法

说明书

本发明公开了一种在负载运行状态下双机大数据应用附件管理装置，对值班主机和值班备机进行数据管理和业务切换，包括，负载均衡业务系统，实现对集群模式下的双机大数据应用的网络、运行状态、数据传输、信息访问进行实时监控；附件文件大数据应用系统，对省市县电力业务系统的非结构性数据抽取，完成值班主机附件数据发生变化时值班备机附件数据同步变化。通过搭建非结构化数据文件大数据应用环境，周期性采集业务系统的附件文件，保证负载运行状态下的双机大数据应用的附件模块正常运行。

技术领域

本发明涉及大数据管理技术领域，尤其是一种在负载运行状态下双机大数 据应用附件管理装置及方法。

背景技术

在各企业一体化云平台规划基础上，各级单位对传统业务系统进行云化整 合转型，建立系统云平台、分布式存储资源池等，在提高资源利用率和业务管 理效率的同时实现对传统系统和新型业务系统的全场景化支撑。由于电力行业 的特殊性，在信息化建设过程中，安全性一直是重中之重。特别是电力文件管 理业务，对系统的不间断运行要求很高，对系统停机几乎是零容忍。系统的高 可用机制能保证在硬件发生故障、或遭受损坏时，系统附件文件管理模块及其 他核心模块能够保持不间断运行，大幅度提高工作效率，具有非常重要的现实 意义。

同时，电力业务系统普遍具有周期性特征，非结构化数据文件在各个电力 系统中都占有很大比重，导致电力系统支撑环境负载的非线性压力。为了保证 业务运行，如果采用传统模式根据应用系统附件管理设计建设，需提供大量高 级配置服务器以保证在高并发量时的可用性，这就导致了闲时的大量资源浪 费。

通过对传统业务系统在集群模式下基于负载运行状态下的双机大数据应 用改造，进行云化整合转型。由于双机大数据应用系统组件众多，相互依赖关 系复杂，无论是在应用研发，还是在应用部署、后期运维，都需要依赖较高水 平的专业人员进行，一方面耗时耗人工，另一方面整个过程缺少标准化记录。 同时，基于负载运行状态下的双机大数据应用的附件文件模块，在遭遇值班主 机突发停机进行应用主备机切换状况，往往会导致附件文件访问失败、未能下 载附件文件、无法查看及预览附件文件等诸多麻烦，具体问题如下：

(1)系统部署复杂度高

双机大数据应用服务系统是一套包含诸多模块的应用框架，其核心由计 算、网络、存储、监控、认证、界面、流程等十几个组件组成，加上服务容器、 数据管理、文件管理、服务调用等常用组件，一套双机大数据应用服务系统部 署下来往往需要安装多个组件，这些组件相互之间依存关系复杂。这种高复杂 度给系统的成功部署带来不小的挑战。

(2)系统高可用性机制缺陷隐患。

当值班主机突发故障时，系统依赖负载均衡的运行状态进行应用主备机切 换，值班备机转换成值班主机。由于缺乏有效、自动的附件文件模块的数据同 步总线，往往会造成两台值班应用服务器的附件文件不同步，需要人工根据经 验、附件物理路径、文件数据操作手册进行逐步操作。由于人工能力的不同和 操作延时，往往不能保证双机大数据应用服务所承载业务的不间断运行，给业 务造成一定稳定性隐患。

(3)系统部署效率低

按照目前人工部署和业务配置方式，整个双机大数据应用服务系统部署下 来往往需要数天甚至几周的时间，效率极低。

(4)标准化程度低

由于双机大数据应用服务系统组件众多，相互依赖关系复杂，传统部署基 本靠部署工程师的经验，标准化程度低，整个安装过程也没有完整的标准化日 志记录，这都给系统建成后的正常运维埋下了隐患。

发明内容

本发明的目的是提供一种在负载运行状态下双机大数据应用附件管理装 置及方法，通过搭建非结构化数据文件大数据应用环境，周期性采集业务系统 的附件文件，保证负载运行状态下的双机大数据应用的附件模块正常运行。

为实现上述目的，本发明采用下述技术方案：