[发明专利]基于构建快速数据分级通道的数据处理方法及其装置

说明书

技术领域

本发明属于信息技术领域，涉及基于通道进行数据处理的方法及其装置，特别涉及1000TB(Terabyte)级以上的高效的海量数据处理方法及其装置。

背景技术

随着互联网、移动互联网等网络技术的迅猛发展，互联网用户的数量急剧增长，2008年全球所创造出的数字信息达到一个惊人的22位数字—（39821798684800350000000比特），约等于40万亿亿比特。全球信息总量每过两年，就会增长一倍，仅2011年，全球被创建和被复制的数据总量就达1.8ZB。面对互联网如此庞大的海量数据，延伸出许多先进的数据处理技术，除了传统的oracle、DB2，Mysql这类数据库，近几年NoSQL技术的发展也日渐成熟，如常用Hadoop技术，mongodb,可谓百家争鸣，各领风骚。

为了保障业务功能的需要，安全高效地处理海量数据，不仅是采用先进技术就能解决的，特别是数据规模达到PB级以上时，数据处理能力会随着时间推移和存储空间的膨胀导致处理能力逐渐下降，最终产生业务功能与用户的需求脱节。本发明通过充分挖掘数据采集、存储、应用三层系统能力，提出对海量数据分批、分类、分级预处理，灵活建立各类数据链路专用通道，极大的提高数据处理的效率。此外本发明另一大创新点在于无论海量数据系统使用何种数据库存储技术，本发明的方法都能发挥巨大作用，是一种高效处理海量数据的创新思路。

发明内容

本发明提供了一种基于构建快速数据分级通道的高效海量数据处理方法及其装置，在海量数据总量一定的前提下，通过数据筛选器过滤数据，使之分批、分类、分级，流经快速数据分级通道，利用调度策略，调度模块判断出入库设备，利用数据入库装置可选择性地主动获取数据源，并将数据入库。采用该方法能够提高海量数据根据业务需求的及时响应，增加数据处理的灵活性与有效性。

本发明的方法，对数据处理的步骤为：

（1）对海量的原始数据进行识别，比对识别出的数据是否符合相应的协议格式或要求，对其进行分批、分类、分级，然后将数据根据识别结果输出到相应的大日志数据传输通道、重要数据传输通道，或快速数据分级通道；其中快速数据分级通道负责传输优先级高的数据；

（2）根据集群设备信息判断通道数据的类型、数据量，根据预存的调度策略调用数据入库装置；

（3）根据实际情况，利用不同方式获取通道数据，并对其进行录入数据库操作；

（4）保存录入的数据。

步骤（3）所述的方式包括被动获取和主动获取。被动获取是由数据传输私有工具、商用传输工具，或开源传输工具进行数据由接入方到入库设备的数据搬运，然后进行入库操作。主动获取是通过判断获取方式及配置文件内容，主动读取通道中的数据源，将数据入库。

本发明的装置包括一数据筛选器，对原始数据进行识别、分类过滤，将结果数据输出到对应的通道；多个数据传输通道，其中有一数据分级通道，对过滤的高优先级数据放行；一调度平台，根据从数据传输通道和数据入库装置获取的信息，利用预设的调度策略动态分配设备及调用通道数据；以及一数据入库装置，根据实际情况，主动或被动从调度平台获取数据源，录入数据库。

本发明适用于多种实际业务，可以构建快速数据分级通道，使根据业务需求要优先处理的数据从海量繁杂的数据中分离出来，通过有效的利用系统资源，将数据及时入库，从而提高系统的灵活性和数据的有效性，为客户提供更为便捷、快速、高效的服务。

附图说明

图1是构建快速数据分级通道的高效海量数据处理装置示意图；

图2是数据筛选装置结构示意图；

图3是数据入库装置结构示意图。

具体实施方式

无论是何种海量数据系统，其最基本的系统一般由数据接入、数据存储和数据应用三个层面构成，根据实际业务需求，在这三层之间建立快速数据分级通道，将数据按大小、类型类别、实效性、关键字或标签、重要程度等规则，分批、分类、分级有序处理，可及时响应业务需求。本发明通过灵活构建快速数据分级通道，可充分发挥其高效的作用与价值。

基于构建快速数据分级通道的高效海量数据处理装置包括图1中的数据筛选装置1、数据通道2、调度平台3、数据入库装置4及数据存储设备五部分。其中数据筛选装置1包括图2中的识别器、规则库、分类器；数据入库装置4包括图3中的数据获取模块和数据入库模块。五部分的功能分别为：

数据筛选装置1：将原始数据通过数据识别和规则库比对，利用分类器对数据进行分批、分类、分级。