[发明专利]一种测序数据高效处理方法

说明书

本发明公开了一种测序数据高效处理方法，属于生物医药技术领域，包括如下步骤：根据高通量测序数据为并行计算做准备；根据高通量测序数据为测序数据准备参考序列；通过并行计算过滤掉数据中质量不合格的数据；通过并行计算完成测序数据与参考序列的比对；通过并行计算提取比对数据中的SNP突变位点信息。本发明对测序数据进行质检，对质检后的数据与参考序列进行比对，根据比对结果提取SNP的突变信息，整套数据处理流程采用了Hadoop架构，使用Hadoop并行运算框架进行高通量测序数据云计算分析系统开发，为医学研究提供了快速、低廉、方便使用的高通量测序数据分析工具，大大的提高了数据处理速度。

技术领域

本发明涉及一种数据处理方法，特别是涉及一种测序数据高效处理方法，属于生物医药技术领域。

背景技术

第二代测序技术的发展为生命科学研究领域带来了革命性的突破，使得研究人员能够快速方便地获取基因组序列数据，从而为理解生命机制、实现精准医疗提供了前所未有的机遇，然而，如何快速分析这些海量的测序数据，以便服务于临床诊断与治疗，成为生物研究人员急需解决的难题。

Hadoop是用Java编写的MapReduce计算模型的一个实现框架，是开源组织Apache基金会的一个高级项目，它除了包含MapReduce核心计算框架之外，还包含了一个分布式文件系统HDFS，Hadoop框架拥有如下一些特点：开发过程简单、高效性、横向扩展性、容错能力、负载均衡、开源免费。

将Hadoop运用于生物医药领域，能够为生命、医学科学研究员提供一种快速、低廉、方便使用的高通量测序数据分析工具。

发明内容

本发明的主要目的是为了提供一种能够快速、低廉、方便的完成高通量测序数据分析的测序数据高效处理方法，解决现有高通量测序数据处理效率低、计算成本高等缺点。

本发明的目的可以通过采用如下技术方案达到：

一种测序数据高效处理方法，包括如下步骤：

根据高通量测序数据为并行计算做准备；

根据高通量测序数据为测序数据准备参考序列；

通过并行计算过滤掉数据中质量不合格的数据；

通过并行计算完成测序数据与参考序列的比对；

通过并行计算提取比对数据中的SNP突变位点信息。

优选的，根据高通量测序数据为并行计算做准备，包括如下步骤：

搭建Hadoop集群；

将测序序列和参考序列上传至HDFS上；

对测序序列进行分割，再将分割后的测序序列发送至集群各从机进行处理；

优选的，对测序序列进行分割，再将分割后的测序序列发送至集群各从机进行处理，包括如下步骤：

根据Hadoop设定的块大小进行分块，并将其发送到不同的map中进行处理；

在每个Map中使用序列reads的ID作为key，并将链标号、碱基序列、质量作为value；

分割完成后利用Reduce的sort功能将拥有相同的Key的序列组装成一个reads块存储到HDFS中。

优选的，根据高通量测序数据为测序数据准备参考序列，对参考序列建立索引并将其与测序数据一同上传至HDFS上。

优选的，通过并行计算过滤掉数据中质量不合格的数据，包括如下步骤：

数据质检采用FastUniq软件来进行；

集群各从机对分配到的测序序列同时进行质检工作；