[发明专利]科学计算流程管理系统

摘要

本发明属于科学计算领域，具体涉及一种科学计算流程管理系统，包括以下模块：基础数据表现层，案例服务模块，计算服务模块，资源统计服务模块，持久层，审计模块，实时同步模块，异步通讯模块，异步分析模块。本发明提供的科学计算流程管理系统，系统将复杂的工作流进行拆解，宏观上，对科学计算整体工作进行规划，把握全局性；微观上，对拆分出的步骤作为独立管理单元，进行管理、监控、数据分析；提升科学计算流程的鲁棒性，操作更流畅、系统复杂性降低，提升用户体验；增强完整流程把控，提高资源利用率，降低人工成本。

主权项

1.科学计算流程管理系统，其特征在于，包括以下模块：基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在 ArangoDB 图数据库中，并利用 SDK 构建数据表现层为其它模块提供业务基础；案例服务模块，基于 Flask 框架构建，表现为 REST 形式，提供接口包括案例的增删查改、任务提交、触发数据分析；计算服务模块，利用各种算法库封装的计算单元，计算服务模块被打包发布为 Docker 镜像，通过任务调度系统传参调用；资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据；持久层，包括多个数据库及缓存服务，数据库用以实现整个系统的数据持久化，包括基础数据、计算服务产生的结构数据、资源统计服务的资源数据，缓存用以处理计算服务、资源统计服务运行过程中产生的中间数据的暂时性存储；审计模块，对通用的数据变更进行审计工作，在数据处于非预期状态时方便有效地进行回溯；系统记录基础数据的任何类型的变动，每一条变动日志被封装成结构化记录推送到大数据搜索分析引擎中；一条记录中包含如下信息：操作时间、操作类型、被操作的对象、操作者、关键请求上下文、变动后的数据；实时同步模块，与任务调度系统进行实时的数据同步工作，同步的数据包括任务状态、结束时间，包括一个后台常驻进程持续扫描尚未标记完成的任务，向任务调度系统合并请求最新状态并更新到基础数据存储中；异步通讯模块，异步处理计算服务通信，通过 AWS SQS 消息感知关键事件，动态收集计算结果；异步分析模块，在案例的推进过程中自动执行分析或通过控制台提交自定义分析任务；通过预设触发条件自动派发分析任务。