[发明专利]一种面向神经网络模型优化的数据处理方法和装置

说明书

本发明公开了一种面向神经网络模型优化的数据处理方法和装置。方法包括：通过计算高阶笛卡尔扩张项，将原有的数据映射到表达能力更强，包含信息更多的高阶笛卡尔扩张空间中。装置包括：输入模块、笛卡尔扩张计算模块和输出模块；输入模块，用于确定并接收用于计算的多维度数据，包括确定输入数据的维度及各维度的数值；笛卡尔扩张计算模块，用于对所述输入模块确定的多维输入数据进行笛卡尔扩张计算；输出模块，根据计算结果，输出用于后续处理的高维度数据。本发明优点在于：在不影响模型效果的前提下降低了后续模型学习的难度，提高了学习效率并提供了分布式并行计算的便利性。

技术领域

本发明涉及人工智能技术领域，特别涉及一种面向神经网络模型优化的数据处理方法和装置。

背景技术

机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。在机器学习领域中，以深度神经网络为典型代表的多种机器学习方法已经获得了非常成功的应用。应用最为广泛的CNN、RNN等神经网络模型在计算机视觉、自然语言处理、语音识别等等领域已经取得了不错的识别效果。在上述成功的机器学习应用中，都离不开对数据的处理方法，尤其是在神经网络模型的训练中，模型对于输入数据要求较为严苛，更需要高效、合理的数据处理方法来提高模型的能力以及训练效率。特别地，当前以深度神经网络为主要工具的人工智能技术，普遍采用深度结构，存在着其不可回避的一些缺点和问题。当神经网络结构深度变大时，在训练过程中就会出现梯度消失或者梯度爆炸的问题；同时神经网络的训练需要大量的训练数据，因此训练的时效性是十分关键的问题，深度结构在拓扑关系上看，是不利于分布式并行计算的一种结构，在时效性上存在着瓶颈。

目前的机器学习算法中，大都是直接使用由手工设计的特征组成多维数据来进行模型的训练。在数据的前期处理方面，多数是针对数据的格式规范性、以及相关模型的要求进行数据的预处理。如归一化、正则化，以及神经网络中用于扩充训练集的相关偏移、旋转等操作。

上述处理方法只是对数据的表达形式上进行了变换，在本质上并没有对数据中的信息进行更加精细的加工，也就无法在数据分析处理层面来对模型的结构(尤其是神经网络模型的结构)以及训练过程进行优化。

其他如余弦变换、主成分分析(PCA)等方法则主要用于输入数据的降维及特征筛选。通过减少输入数据的维度，保留对模型效果起到关键作用的维度的方式来降低模型复杂度，提高数据处理效率及模型准确率。

数据的降维处理方法只是对数据维度进行了筛选，虽然可以起到一定的优化模型的作用，但是并没有提高数据的表达能力，只是在数据的量上进行了优化，无法在结构上对模型进行优化，也没有从根本上提高模型的训练效率。

发明内容

本发明针对现有技术的缺陷，提供了一种面向神经网络模型优化的数据处理方法和装置，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种面向神经网络模型优化的数据处理方法，包括以下步骤：

1)接收输入数据：

对于输入向量数据X＝(x₁,x₂,…,x_N)，其中x₁,x₂,…,x_N为输入向量的各个维度，确定数据维度N以及第i个维度的数值x_i。

2)全P阶笛卡尔扩张操作：

2.1确定最高阶数P

根据数据维度与具体的计算硬件条件来确定P的数值。当数据维度较大时(大于1000)P取2到3为宜，反之，可根据实际部署的计算硬件内存M和计算精度λ来确定，可取内存可容纳的最大扩张维度对应的P值，即P＝