[发明专利]一种基于Gaia系统的数据分类方法

说明书

本发明提供一种基于Gaia系统的数据分类方法，所述方法基于超限学习机实现，Gaia系统由于其更新的底层流处理计算架构和多种全局优化与执行优化技术，相比于其他分布式计算系统具有更好的执行效率。在批处理模式下可实现海量吞吐，在流处理模式下可实现极速响应；另外，由于超限学习机是一种单隐层前馈神经网络，相比于其他的学习机具有更快的学习速度；将上述两种优势进行结合，可使得本发明实现更高效率的数据分类。再者通过构建的初始数据集UCollection自行判断判定启动批处理环境或流处理环境，用户在使用该学习机进行数据分类时可不用关心数据的类型与来源，只需关注对数据的处理过程即可，为用户的使用带来了极大的便利。

技术领域

本发明属于分布式大数据计算系统及机器学习技术领域，具体涉及一种基于Gaia系统的数据分类方法。

背景技术

Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据计算系统。该新型大数据计算系统针对批流混合任务具有全周期多尺度优化技术和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多尺度优化的高性能批流融合大数据计算引擎。该引擎为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。

超限学习机(简称ELM)是一种基于单隐层前馈神经网络的机器学习算法，具有超快的学习速度，同时又因其不存在大量迭代计算而具有很好的泛化能力。在当今数据量爆发的时代，将大量机器学习算法实现于分布式计算引擎之上也是一种必然的趋势，因此也诞生了大量基于Hadoop和Spark的ELM算法，使其能够支持对海量数据的学习。

虽然上述面向海量数据的分布式离线ELM算法对于图像识别、自动驾驶等新一代智能应用起到了巨大的贡献，然而现实的世界是一个不断变化的世界，海量数据也在不断地增加和更迭，因此对海量数据的在线学习也是同样重要的任务。然而，在目前的大数据计算引擎中，Hadoop主要针对大数据批处理，对于实时计算的性能较差；Spark引入了SparkStreaming支持流计算，但其本质是一种微批处理，实时计算性能也不是很好，尤其表现在延时方面；Storm是一种原生流计算系统，不支持大数据批处理；Flink虽然是目前新一代的“批流融合”计算系统，但对于批处理和流计算也分别需要定义两套接口，大大增加了开发的难度。综上所述，需要找到一套具有“高吞吐、低延时”的，从上层开发接口到底层计算引擎都支持“批流计算融合”的分布式计算系统来开发一套同时支持离线学习与在线学习功能的ELM框架，实现高精度、高效率的数据分类。

发明内容

基于上述问题，本发明提出一种基于Gaia系统的数据分类方法，包括：

步骤一：通过Gaia系统读取数据源构建初始数据集UCollection，所述数据源包括带有属性的训练样本矩阵x、T以及初始的随机赋值权重向量w；

步骤二：基于Gaia系统构建分布式超限学习机并利用初始数据集UCollection进行训练；

步骤三：通过Gaia系统读取用户输入的待分类数据集，利用训练后的分布式超限学习机输出数据的分类结果。

所述步骤二包括：

步骤1：对构建的初始数据集UCollection进行判断，如果初始数据集UCollection是有界的且只有一个来源，则一次性读取全部数据作为训练数据，并启动批数据处理环境进行训练；