[发明专利]科学计算流程管理系统

说明书

本发明属于科学计算领域，具体涉及一种科学计算流程管理系统，包括以下模块：基础数据表现层，案例服务模块，计算服务模块，资源统计服务模块，持久层，审计模块，实时同步模块，异步通讯模块，异步分析模块。本发明提供的科学计算流程管理系统，系统将复杂的工作流进行拆解，宏观上，对科学计算整体工作进行规划，把握全局性；微观上，对拆分出的步骤作为独立管理单元，进行管理、监控、数据分析；提升科学计算流程的鲁棒性，操作更流畅、系统复杂性降低，提升用户体验；增强完整流程把控，提高资源利用率，降低人工成本。

技术领域

本发明属于科学计算领域，具体涉及一种科学计算流程管理系统。

背景技术

在近十年时间里，云计算、数据存储和数据分析技术飞速发展，一个大数据时代逐渐展现在我们的面前。科学计算工作流与云计算的结合，已逐渐成为大家关注的热点话题。

科学工作流指将一系列在科学研究中遇到的数据管理、计算、分析、展现等工作变成一个个独立的服务，再把这些服务通过数据连接组合在一起，满足研究人员科学实验、数据分析的需要，从而实现相应的处理与计算。由于科学计算的复杂性，科学工作流也逐渐变成计算密集型和数据密集型，因此，前置部署、执行科学工作流、后期数据处理分析等工作不仅对戏院要求高，而且要有海量的存储空间。虽然云计算为工作流提供了分布式的网络计算技术，但其的工作流的复杂度、计算周期长、数据吞吐量大、分析监控多样化等，仍然需要关注和解决。

现有计算数据实时分析可视化不足；并且科学计算项目统筹性差，计算过程与前期立项后期分析总结相脱离；计算周期长，流程复杂、操作成本高、可控性差。

发明内容

针对上述技术问题，本发明提供一种操作更简单的科学计算流程管理系统。所采用的技术方案为：

科学计算流程管理系统，包括以下模块：

基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在 ArangoDB 图数据库中，并利用 SDK 构建数据表现层为其它模块提供业务基础；

案例服务模块，基于 Flask 框架构建，表现为 REST 形式，提供接口包括案例的增删查改、任务提交、触发数据分析；

计算服务模块，利用各种算法库封装的计算单元，计算服务模块被打包发布为Docker 镜像，通过任务调度系统传参调用；

资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据；

持久层，包括多个数据库及缓存服务，数据库用以实现整个系统的数据持久化，包括基础数据、计算服务产生的结构数据、资源统计服务的资源数据，缓存用以处理计算服务、资源统计服务运行过程中产生的中间数据的暂时性存储；

审计模块，对通用的数据变更进行审计工作，在数据处于非预期状态时方便有效地进行回溯；系统记录基础数据的任何类型的变动，每一条变动日志被封装成结构化记录推送到大数据搜索分析引擎中；一条记录中包含如下信息：操作时间、操作类型、被操作的对象、操作者、关键请求上下文、变动后的数据；

实时同步模块，与任务调度系统进行实时的数据同步工作，同步的数据包括任务状态、结束时间，包括一个后台常驻进程持续扫描尚未标记完成的任务，向任务调度系统合并请求最新状态并更新到基础数据存储中；

异步通讯模块，异步处理计算服务通信，通过 AWS SQS 消息感知关键事件，动态收集计算结果；

异步分析模块，在案例的推进过程中自动执行分析或通过控制台提交自定义分析任务；通过预设触发条件自动派发分析任务。