[发明专利]面向图像大数据的类增量分类方法、系统、装置及介质

说明书

本发明公开了一种面向图像大数据的类增量分类方法、系统、装置及介质，其中方法包括初始化训练阶段和增量学习阶段；所述初始化训练阶段包括：构建图像的初始数据集；根据所述初始数据集训练初始分类模型；所述增量学习阶段包括：根据所述初始数据集和图像的新数据构建增量学习数据集；根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。本发明通过蒸馏算法更新增量学习模型，使模型的类间距离扩大及类内距离缩小，能够在有限的存储空间和计算资源下，提升模型对新旧数据识别性能，可广泛应用于大数据应用领域。

技术领域

本发明涉及大数据应用领域，尤其涉及一种面向图像大数据的类增量分类方法、系统、装置及介质。

背景技术

随着互联网的云计算、物联网、社交网络等新兴信息技术和应用模式的快速发展，促使人类社会的数据种类和规模正以前所未有的速度增长，推动人类社会迈入信息爆炸的大数据时代。而与之相随的是计算机运算能力的不断提升，推动了机器学习的研究与发展，尤其是深度学习领域更是掀起一股研究热潮，被广泛应用在金融、智能制造、医疗健康等各个领域。“大数据+机器学习”技术成为了当今社会耳熟能详的人工智能技术，而在2016年，Google的AlphaGo横空出世，让我们见识到“大数据+机器学习”的巨大威力和其广阔的前景。

虽然目前“大数据+机器学习”技术在各行各业获得广泛应用并取得显著成果，但是目前大多数机器算法是基于静态、封闭的理想环境下进行训练，它们将历史数据作为一个整体进行批量学习，这种批量学习灵活性较差，只能面向静态的批量大数据，而训练得到的模型也只能识别在训练集中出现过的类别，对于未出现在训练集中的类别模型则无法给出分类结果。然而在实际的应用中，各行各业产生的大数据，如传感器数据、图像、视频数据、互联网数据以及传统行业的业务数据等，更多地是一种动态的流数据形态。数据的内容与特征处于不断变化，具有海量性、时变性、无限性等特点。这就需要模型不断在新到来的数据上学习新的类别。

而基于批量学习需要一次性获得训练数据，对于不断产生的新数据，需要将新旧数据混合对模型重新进行训练，该方式存在空间存储和计算资源消耗以及时间成本问题，随着新数据的不断到来，所需要保存的数据量不断扩大，庞大的训练集会导致模型的训练速度下降，计算成本剧增甚至数据无法一次性载入内存，从而无法进行完整的批量学习。如果让模型直接在新数据上训练，模型则会存在对旧数据灾难性遗忘问题。因此，如何在有限的存储空间和计算机资源下，让已训练好的模型在纷至沓来的新数据上较强的学习能力，同时保持对旧数据识别的准确率是一个亟待解决的难题。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种面向图像大数据的类增量分类方法、系统、装置及介质。

本发明所采用的技术方案是：

一种面向图像大数据的类增量分类方法，包括初始化训练阶段和增量学习阶段；

所述初始化训练阶段包括：

构建图像的初始数据集；

根据所述初始数据集训练初始分类模型；

所述增量学习阶段包括：

根据所述初始数据集和图像的新数据构建增量学习数据集；

根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；

其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。

进一步，所述训练初始分类模型的过程中，采用HM-Softmax作为分类损失函数；

所述分类损失函数的公式为：