[发明专利]多源生物大数据融合系统

说明书

本发明公开了多源生物大数据融合系统，涉及生物数据处理技术领域，该平台包括数据下载解析层、多源异构数据融合层、高维数据存储层和数据部署访问层，通过数据自动获取和解析、多源异构数据融合、数据存储和访问技术帮助科研人员从这些繁杂的重复劳动中解脱出来，将有限的精力用于更好的分析、验证等工作中，提高工作效率，增加科研产出，更可以为生物制药、医疗等产业研究提供强大的前期数据处理支持。

技术领域

本发明涉及生物数据处理技术领域，特别是涉及多源生物大数据融合系统。

背景技术

现代生命科学研究的问题几乎总是与基因、蛋白或蛋白交互网络有关，从数据分析的角度往往需要获取这些对象或样本的各种属性，且抽象表示成等长的特征向量，然后再采用各种计算手段进行分析和挖掘。此过程中的特征提取环节至关重要，样本特征表达是否充分直接影响分析预测结果的准确程度。因此，科研人员往往需要花费大量精力用于跨多个数据库去搜集数据的相关属性，还要解决不同类别的属性如何用统一的方式转化成特征值，及长短不一的样本属性值如何转化成等长的特征值、特征的筛选、特征降维等。

目前国际上有大量的公共生物数据库资源，大致可分为三大类，其中与基因或蛋白相关的如：GeneBank、UniProt，Ensemble，GO、PDB等，分子相互作用及生物网络相关的如：KEGG、DIP、GEO、ASDB、BioGrid、IntAct、MINT等，药物及疾病相关的如：DrugTarget、DrugBank、TCGA等，这些资源中蕴含了极其丰富的可用于生命科学研究的宝贵信息，有些数据库中还提供了各种各样的数据处理工具，为生物数据分析提供了方便。然而这些生物数据库的资源提供方式对有些使用者尤其是有生物计算需求的用户来说，有时并不能很好的满足要求，其主要存在的问题如下：

1、大多数生物数据库都是分散而独立地提供特定生物数据，其提供的计算工具也仅限于处理本数据库的数据条目。其局限性在于：对有些复杂问题例如药物作用关系预测等，就需要跨越多个数据库来获取数据，有些数据库彼此会通过超链接相互关联，数据之间形成了错综复杂的网络，导致数据解析非常困难，且需要大量的去冗余工作；

2、不同的数据库中数据资源的存储结构各异，来自多源的异构数据很难直接用于生物学和医学等研究模型的构建和分析；

3、目前的生物数据资源平台主要面向生物学家提供人工数据分析和查询的需要，无法满足精准医疗发展所依赖的大规模计算的要求。

发明内容

本发明实施例提供了多源生物大数据融合系统，可以为有生物大数据计算需求的用户提供高效快速一站式数据查询、数据特征提取的访问手段。

本发明提供了多源生物大数据融合系统，包括数据下载解析层、多源异构数据融合层、高维数据存储层和数据部署访问层，所述数据下载解析层负责数据的获取工作，根据数据源的相应配置文件进行数据下载、解析和存储，该层包括数据下载模块、数据解析模块和数据存储模块，所述数据下载模块根据需要下载的数据源进行自动数据下载，所述数据解析模块根据已下载的数据文件信息自动分配相应的解析器进行数据解析，解析结果以统一的数据传输格式发送到所述数据存储模块，所述数据存储模块按照生物大数据的存储逻辑存放解析结果；

所述多源异构数据融合层用于对数据库中的数据进行特征融合、去冗余和特征分类管理，该层包括特征融合去冗余模块和特征分类管理模块，所述特征融合去冗余模块在一个选定的数据库中下载所有经过人工校验过的蛋白条目，针对每个蛋白条目获取其在其他关联数据库中的访问号，根据访问号分别在这些关联数据库中下载相应的条目，解析后得到相应的特征，然后将来自不同数据库的同一条目的特征进行合并，去掉冗余的特征以及与计算无关的视觉特征，形成新的特征集合，所述特征分类管理模块将新的特征集合划分为ID区、文献引用区、通用属性区和结构区四个区域；