[发明专利]一种机器学习中避免大数据冗余的方法

说明书

技术领域

本发明涉及机器学习领域，具体涉及一种机器学习中避免大数据冗余的方法。

背景技术

机器学习是一门让计算机在非精确编程下进行活动的科学，在过去十年，机器学习促成了无人驾驶车、高效语音识别、精确网络搜索及人类基因组织认知的大力发展。机器学习最基本的做法是采用算法来解析数据、从中学习，然后对真实世界中的事件作出决策和预测，与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等，众所周知，我们还没有实现强人工智能，早期机器学习方法甚至都无法实现弱人工智能。

机器学习最常见的一个应用场合就是大数据分析，现实世界中，越来越多的应用涉及到海量的数据，这些大数据的属性包括数量、速度和多样性等，都是呈现了大数据不断增长的复杂性，所以，大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。机器学习是自动化流程已经大数据规模化分析的重中之重，机器学习对大数据应用的贡献主要体现在两个方面：一是促进数据科学家门的多产性；二是发现一些被忽视的方案，有些方案甚至遭到了最好的数据科学家们的忽视，这些价值来自于机器学习的核心功能：即让分析算法无需人类干预和显式程序即可对最新数据进行学习。

利用机器学习对大数据进行分析确实是一种非常有效的方式，但是同时又出现了另一个问题，即机器学习，典型的如支持向量机和深度学习等算法往往包含着极为复杂和繁琐的计算迭代过程，计算量十分巨大，因此，如果处理的数据本身非常巨大，则对硬件的计算能力要求非常高。在一些大量图片的分类任务中，即便同时使用大量众核设备进行加速，也要等待数天甚至数月的时间。针对这种情况，在满足精度的要求下，适当地缩减数据规模，不仅是有效的，而且是十分必要的，以提高数据处理的边际效益。

有鉴于此，急需提供一种在满足精度的要求下，适当缩减机器学习中数据规模的方法。

发明内容

本发明所要解决的技术问题是提供一种在满足精度的要求下，适当缩减机器学习中数据规模的方法。

为了解决上述技术问题，本发明所采用的技术方案是提供一种机器学习中避免大数据冗余的方法，包括以下步骤：

S1、将训练数据按照预设规则均匀划分为规模相当的若干份；

S2、对每一份数据按照预设的训练步骤进行训练计算，并绘制出跟随训练步骤的属性值曲线；

S3、根据每份属性值曲线的相似度，保留相应的属性值曲线对应的数据和初步训练结果；

S4、根据属性值曲线的相似度对保留的数据和初步训练结果进行排序，将相邻的相似度达到阈值的属性值曲线对应的数据和初步训练结果分别进行加权，返回步骤S2，直至所有训练数据合并为一个数据，并得到最终的训练结果。

在上述技术方案中，当所述训练数据采用空间数据时，所述预设规则为：按照空间坐标信息将所述空间数据均匀划分为规模相当的若干份。

在上述技术方案中，所述属性值曲线为精度曲线或误差曲线。

在上述技术方案中，步骤S3具体为：

比较每份属性值曲线的相似度，判断相似度是否达到阈值；

若相似度达到阈值，则随机保留其中一份属性值曲线对应的数据和初步训练结果；若相似度未达到阈值，则保留所有属性值曲线对应的数据和初步训练结果。

在上述技术方案中，所述相似度的阈值上限为95％，所述相似度的阈值下限为99％。

本发明根据每份属性值曲线的相似度，保留相应的属性值曲线对应的数据和初步训练结果，并根据属性值曲线的相似度对保留的数据和初步训练结果进行排序，将相邻的相似度达到阈值的属性值曲线对应的数据和初步训练结果分别进行加权，直至所有训练数据合并为一个数据，并得到最终的训练结果，操作简单，易于实现，并行度较高，极大的减小了计算量，提高了计算效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种机器学习中避免大数据冗余的方法流程图；

图2为本发明中训练数据采用空间数据时的计算示意图。

具体实施方式