[发明专利]用于NGS生信分析流程的算法调度装置及调度方法

说明书

本申请提供了用于NGS生信分析流程的算法调度装置及调度方法，所述算法调度装置包括生信流程调度框架和K8S框架，生信流程调度框架负责流程文件的解析、任务拆分、任务调度、资源管控及数据管理，分析任务则由生信流程调度框架提交至K8S框架，利用集群环境的资源执行分析任务的并行处理，实现了服务器资源的充分利用。本申请依托K8S框架，在服务器集群环境下实现生信算法任务的调度，可以有效改善生信分析执行效率低、分析速度慢的问题。

技术领域

本发明涉及生信分析技术领域，尤其涉及一种用于NGS生信分析流程的算法调度装置及调度方法。

背景技术

伴随着分子检测业务在医院临床端的检测量增大，生信分析的需求也与日俱增，对生信分析的准确性、及时性都提出了更高的要求。

随着高通量检测技术的不断应用，分子数据的规模显著提升，例如WGS检测，单样本的数据量大致在100GB左右，从而生信分析算法的复杂度也随之增强。如何通过技术手段来解读数据增长所带来的分析的复杂性及数据压力，在有限算力、存储、IO资源环境下来提升分析准确性、分析效率成为迫在眉睫的问题。

生信分析除了生物专业背景外，计算机IT知识也极为重要。但是，在医疗领域的从业者普遍缺乏代码编写能力，所以，“低代码生信分析平台”能够降低数据分析的门槛，让更多的科研工作者关注生物数据挖掘本身。

生信行业内，习惯于在单节点的服务器上安装多个程序运行框架：例如python3、R、C++等，同时手动安装pipeline(流程)中所需要的软件包(如果遇到软件包间库版本冲突，需要额外解决兼容性问题)，最后通过shell脚本的方式把多个生信工具串联在一起执行，工具间的数据交互通过管道或者本地文件系统来实现。通过shell脚本来编排各个工具时，无法做到各个模块工具的并行分析，所以pipeline分析效率并不高，同时也无法保证服务器资源被充分利用。

发明内容

本发明的目的在于提供一种用于NGS生信分析流程的算法调度装置及调度方法，依托Kubernetes(简称K8S)框架，在服务器集群环境下实现生信算法任务的调度。

为实现上述目的，本发明采用以下技术方案：

第一个方面，本发明提供了一种用于NGS生信分析流程的算法调度装置，所述装置包括：生信流程调度框架和K8S框架，其中，

所述生信流程调度框架包括：

API模块，被配置为接收执行生信流程的请求，生成流程任务；

CWL解析器，被置为将接收的流程任务进行解析处理，生成线程列表，线程列表中的每个线程为独立分析的逻辑单元；

任务管理模块，被配置为将所述CWL解析器拆解的各个线程的记录保存至数据库中进行管理；

调度模块，被配置为根据预设的调度规则控制线程调度次序；

K8S客户端，被配置为生成交互请求，用于调度模块与K8S框架之间的请求交互；

所述K8S框架，被配置为接收来自K8S客户端的请求，根据当前的集群资源执行线程并行分析，并将流程任务的执行结果通过回调逻辑通知调用方。

在一种优选实施例中，所述API模块以HTTP接口方式接收执行生信流程的请求。更优选地，所述API模块接收的请求数据可以是包括CWL文件、生信分析流程所需要输入的数据、执行参数中的一种或几种。

其中，生信分析流程所需要输入的数据可以是例如所需要分析的样本文件数据、生信工具所需的分析参数等。

其中，所述执行参数，可以是工作目录、日志模式等。

更优选地，所述API模块，还进行入参合法性校验，并在通过入参合法性校验后，生成TraceID。