[发明专利]基因组数据的存储传输备份管理方法及装置

说明书

本发明公开一种基因组数据的存储传输备份管理装置及方法，涉及基因数据管理技术领域，能够稳定安全、高效无损的对基因组数据的流转过程进行管理。该装置包括：数据接收模块，用于接收用户上传的基因组数据文件；校验核查模块，根据基因组数据文件的格式采用匹配的核查规则进行格式校验，并对基因组数据文件进行完整性检验；传输存储模块，用于构建互联互通的本地集群和远程集群，在本地集群和/或远程集群中存储基因组数据文件，实现对基因组数据文件归档管理。该方法应用于上述方案所提的装置。

技术领域

本发明涉及基因数据管理技术领域，尤其涉及一种基因组数据的存储传输备份存储管理方法。

背景技术

随着下一代高通量测序技术的发展海量的基因组数据与日俱增，这些基因组数据在测序服务商处经历测序下机、组装拼接、通用分析、存储传输(硬盘拷贝寄返或云端释放)等流转过程，随后，在遗传诊疗研究人员处又经历接收数据(硬盘对拷或云端下载到目标盘)、清洗整理(按照遗传解读云平台对输入数据的规范要求进行手工登记和格式规范化整理)、无损校验(对数据完整性的md5校验)、数据备份(在云平台底层按来源、日期等属性信息进行备份)、导入云平台等流转过程。

由此可见，高通量数据的整个生命周期链条较长、人类基因组数据过于庞大和复杂、负责测序、序列信息解读、医学遗传学解读、遗传诊疗的人员分散各地，与日激增的人类基因组测序数据需要在各处流转处理分析解读，这就需要大量的专业人员的人工参与；另外这些数据量很大，动则几百G，几个T甚至几个P，来源于不同测序公司的不同测序平台，所以数据格式、结构各异，涉及个人隐私等问题，因此对于高通量测序数据的安全稳定存储、无损高效传输、专业解读和保密性方面均提出严峻挑战。

发明内容

本发明的目的在于提供一种基因组数据的存储传输备份管理方法及装置，能够稳定安全、高效无损的对基因组数据的流转过程进行管理。

为了实现上述目的，本发明的第一方面提供一种基因组数据的存储传输备份管理装置，包括：

数据接收模块，用于接收用户上传的基因组数据文件；

校验核查模块，根据所述基因组数据文件的格式采用匹配的核查规则进行格式校验，并对所述基因组数据文件进行完整性检验；

传输存储模块，用于构建互联互通的本地集群和远程集群，在所述本地集群和/或所述远程集群中存储所述基因组数据文件，实现对所述基因组数据文件归档管理。

优选地，所述数据接收模块包括：

线下接收单元，用于将包括所述基因组数据文件的存储介质与所述本地集群或所述远程集群中的节点连接，上传所述基因组数据文件；

线上接收单元，用于通过客户端将所述基因组数据文件上传至所述本地集群中节点的指定目录下或上传至所述远程集群的节点中，所述指定目录下的所述基因组数据文件仅对指定的用户公开；

所述基因组数据文件中包括用于表示基因组数据文件完整性的md5信息属性文件。

较佳地，所述本地集群和所述远程集群通过专网结合VPN相互连接。

优选地，所述校验核查模块包括：

路由设置单元，用于设置多种数据路由方案，并根据用户上传基因组数据文件的方式选择其中一种数据路由方案执行所述基因组数据文件的上传流转；

规范化核查单元，用于调用与基因组数据文件格式匹配的核查规则对所述基因组数据文件进行格式校验，获取格式校验通过的基因组数据文件；

完整性核查单元，用于通过每个基因组数据文件对应的md5信息属性文件进行完整性校验，获取完整性检验通过的基因组数据文件。

进一步地，所述传输存储模块包括：