[发明专利]一种数据分类方法、系统、设备及信息数据处理终端

说明书

本发明属于机器学习与智能计算技术领域，公开了一种数据分类方法、系统、设备及信息数据处理终端，所述数据分类方法包括：将每个数据集划分为训练集和测试集；初始化单隐层前馈神经网络(SLFN)的结构和部分网络参数，包括隐层神经元的状态、输入权值和隐层偏置，并计算最优输出权值；评估生成的染色体的适应度函数值；通过基于极限学习机的协同遗传算法(CGA‑ELM)同时优化网络结构和连接参数，得到最优解作为最终的单隐层前馈神经网络；使用测试集测试网络性能，输出平均分类准确率。本发明提供的CGA‑ELM在泛化能力方面显著优于CGA和ELM；与其他先进算法相比，CGA‑ELM能在保持收敛速度的前提下达到更高的识别能力，具有更大的竞争能力和更好的泛化性能。

技术领域

本发明属于机器学习与智能计算技术领域，尤其涉及一种数据分类方法、系统、设备及信息数据处理终端。

背景技术

目前，人工神经网络(artificial neural network,ANN)是一个由大量处理单元组成的非线性自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑的神经网络处理记忆信息的方式来处理信息。前馈神经网络(feedforwardneural network,FNN)是人工智能领域发明最早的简单神经网络。在FNN中，信息从输入层通过隐含层单向传播到输出层，由于其结构简单，性能好而引起了广泛的关注。ANN的近似定理表明，经过训练的多层前馈神经网络可以以任意精度逼近任意连续函数，它已被广泛应用于各种领域，如时间序列预测、模式识别、模拟建模、数据挖掘、医学诊断等领域。

FNN的结构由一些逐层排列的神经元组成，其中一层的神经元与前一层的神经元相连。解决不同的问题需要用到不同的神经网络，要找到一个合适的FNN，需要确定层的数量、神经元的数量和神经元之间的权值，这可以看作为一个优化问题。因此，训练算法在前馈神经网络的优化中非常重要。在过去，已经提出了许多训练算法和技术，一种是基于梯度的算法，它可以调整连接不同网络层的权值。然而，这些算法通常会陷入局部最优，因此人们意识到了基于元启发式优化方法的必要性。此外，多目标元启发式也被用于处理神经网络，一方面要减少神经网络的训练误差，另一方面要简化神经网络的结构。在对FNN的元启发式处理中，FNN的初始种群被搜索算子引导到最终种群，通常选择最好的FNN。极限学习机(extreme learning machine,ELM)在计算效率和易于实现方面具有显著的优势，因为它随机生成输入权值和隐层偏置，然后使用Moore-Penrose(MP)广义逆分析计算输出权值。然而，ELM的随机性很容易导致其学习性能的波动，此外，ELM只计算具有固定结构的网络参数。为了弥补这些缺陷，使用协同遗传算法(cooperative binary-real geneticalgorithm,CGA)优化网络结构并生成好的初始输入参数，包括每代的输入权值和隐层偏置，供ELM使用。

一般来说，基于梯度下降的学习方法通常速度较慢，需要许多次迭代来获得良好的学习性能，由于学习步长不合适，很容易收敛到局部最优。作为一种非迭代算法，ELM是Huang等人提出的单隐层前馈神经网络(single hidden layer feedforward neuralnetwork,SLFN)的有效学习方法，它随机选择输入权值和隐层神经元偏置，可以学习不同的观察结果，且误差任意小。与传统的SLFN训练算法不同，ELM通过随机初始化得到输入权值和隐层神经元偏置后，通过求解线性模型的最小二乘解来确定网络的输出权值。

对于任意M个不同的训练样本其中具有N个输入属性x_i＝[x_i1,x_i2,…,x_iN]^T∈R^N和L个分类标签t_i＝[t_i1,t_i2,…,t_iL]^T∈R^L，一个具有K个隐层神经元的标准SLFN，激活函数为g(·)，可以用ELM以零误差进行训练，如图3所示，它的输出可表示为：